מערכות ראיה ממוחשבות

Overview Image Acquisition Image Generation Image Compression Image Manipulation Image Analysis Image Display Image Perception

האור הנראה

גלים ואור נראה

Human Vision

Human Vision

Perception

Gestalt Principles Proximity

Gestalt Principles Proximity Similarity

Gestalt Principles Proximity Similarity Continuity

Gestalt Principles Proximity Similarity Continuity Closure

Gestalt Principles Proximity Similarity Continuity Closure Common Fate

Gestalt Principles Proximity Similarity Continuity Closure Common Fate Closure Common Fate Simplicity

Mona Lisa

Mona Lisa

fMRI Magnet

Digital cameras

Digital Images PIXEL World Camera Digitizer Digital Image Typically: 0 10 10 15 50 70 80 0 0 100 120 125 130 130 0 35 100 150 150 80 50 0 15 70 100 10 20 20 0 15 70 0 0 0 15 5 15 50 120 110 130 110 5 10 20 50 50 20 250 PIXEL Typically: 0 = black 255 = white (picture element)

צילום דיגיטלי

ייצוג תמונה במחשב

Types of images Gray-scale images I(x,y)  [0..255] Binary images Color images IR(x,y) IG(x,y) IB(x,y) HSL images

Grayscale Image x = 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 210 209 204 202 197 247 143 71 64 80 84 54 54 57 58 206 196 203 197 195 210 207 56 63 58 53 53 61 62 51 201 207 192 201 198 213 156 69 65 57 55 52 53 60 50 216 206 211 193 202 207 208 57 69 60 55 77 49 62 61 221 206 211 194 196 197 220 56 63 60 55 46 97 58 106 209 214 224 199 194 193 204 173 64 60 59 51 62 56 48 204 212 213 208 191 190 191 214 60 62 66 76 51 49 55 214 215 215 207 208 180 172 188 69 72 55 49 56 52 56 209 205 214 205 204 196 187 196 86 62 66 87 57 60 48 208 209 205 203 202 186 174 185 149 71 63 55 55 45 56 207 210 211 199 217 194 183 177 209 90 62 64 52 93 52 208 205 209 209 197 194 183 187 187 239 58 68 61 51 56 204 206 203 209 195 203 188 185 183 221 75 61 58 60 60 200 203 199 236 188 197 183 190 183 196 122 63 58 64 66 205 210 202 203 199 197 196 181 173 186 105 62 57 64 63 y =

Binary images H

תמונת RGB R G B

גָּוֶן רְוָיָה בְּהִירוּת תמונת HSL Similarities to the way humans tend to perceive color: What color is it? How vibrant is it? How light or dark is it?

בינריזציה הפיכת תמונת רמות אפור לבינארית ע”י קביעת ערך סף – Threshold. גוונים מעל ערך הסף נרשמים כלבן, מתחת לערך סף כשחורים. עבור ערך סף 30:

רזולוציה מרחבית 512*512 256*256 128*128 64*64 32*32 16*16

רזולוציית הצבע 1-bit color (21 = 2 colors) 2-bit color (2² = 4 colors) Color depth is term describing the number of bits used to represent the color of a single pixel in a bitmapped image( Bits/pixel ) 1-bit color (21 = 2 colors) 2-bit color (2² = 4 colors) 3-bit color (2³ = 8 colors) 5-bit color (25 = 32 colors) 6-bit color (26 = 64 colors) 8-bit color (28 = 256 colors) 12-bit color (212 = 4096 colors) 16-bit color (216 = 65536 colors) 256 gray levels (8 bits/pixel) 2 gray levels (1 bit/pixel) BINARY IMAGE 8 gray levels (3 bits/pixel)

במחשב שלך רזולוציית הצבע רזולוציה מרחבית

אחסון התמונה בזיכרון לכל פיקסל מוקצה מרחב זיכרון בהתאם לרזולציית הצבע. גודל התמונה נקבע ע”פ רזולוציית הצבע והרזולוציה המרחבית. דוגמה: תמונה של 64 גווני אפור בגודל 512*512 פיקסלים צורכת 512*512*6/8 = 196,608 [bytes] (אם ניתן לשמור מידע באופן רציף).

Image manipulations using histogram

Effects of down-sampling (reducing number of pixels)

Effects of reducing number of gray levels (8 bits/pixel) 16 gray levels (4 bits/pixel) 8 gray levels (3 bits/pixel) 4 gray levels (2 bits/pixel) 2 gray levels (1 bit/pixel) BINARY IMAGE

דחיסה "Ask not what your country can do for you -- ask what you can do for your country." 17 words, 61 letters, 16 spaces, one dash, one period. "ask" - two times "what" - two times "your" - two times "country" - two times "can" - two times "do" - two times "for" - two times "you" - two times 1

JPEG Joint Photographic Experts Group

Advanced Approaches Area based approach Image resizing

The Image Histogram Histogram = The gray-level distribution: Occurrence (# of pixels) Gray Level Histogram = The gray-level distribution: H(k) = #pixels with gray-level k Normalized histogram: Hnorm(k)=H(k)/N (N = # pixels in the image) Continuous probability density function:

The Image Histogram (Cont.) PI(k) 1 k PI(k) 1 0.5 k PI(k) 0.1 k

Image Enhancement Histogram stretching Histogram equalization Histogram specification etc...

Histogram Stretching PI(k) k 0.1 PI(k) k 0.5 0.1

Histogram Equalization k k

Histogram Equalization Original Equalized

Histogram Equalization 3000 3000 2500 2500 2000 2000 1500 1500 1000 1000 500 500 50 100 150 200 250 50 100 150 200 250 Original Equalized

Histogram Specification Transforms an image so that its histogram matches that of another image (e.g., for comparing two images of the same scene acquired under different lighting condition) Aa Ab k k

Image manipulation: filtering

שיפור התמונה/סינון חידוד החלקה Luminance Saturation Hue

סינון צבע

תשליל d(x,y)=255-d(x,y)

הבהרה/החשכה d(x,y)=d(x,y)+constant if new value > MAX new value =MAX if new value < 0 new value =0 +30 -30

ניגודיות (קונטרסט) d(x,y)=d(x,y)*+constant if new value > MAX new value =MAX if new value < 0 new value =0 ככל ש-  גדול יותר הניגודיות עולה

מסננים לניקוי רעשים ממוצע חציון הגבלת ערך

Spatial Operations g(x,y) = 1/M S f(n,m) Replace center pixel with average/median gray level: (averaging mask; weighted mask; median filter…) Examples of neighborhoods S: S = neighborhood of pixel (x,y) M = number of pixels in neighborhood S e.g., g(x,y) = 1/M S f(n,m) (n,m) in S 3 x 3 5 x 5

Convolution in 2D- Linear Filtering

Median Filter-Non Linear Filtering

Noise Cleaning Salt & Pepper Noise 3 X 3 Average 5 X 5 Average Median

החלקה

חידוד

בעיית הקצוות

Image manipulation: morphological operations

Example for Dilation 1 Input image Structuring Element Output Image 1 Structuring Element Output Image 1 Hit: If just one of the ’1’s in the SE overlap with the input => output = 1, otherwise output = 0

Example for Dilation 1 Input image Structuring Element Output Image 1 1 Structuring Element Output Image 1

Example for Dilation 1 Input image Structuring Element Output Image 1 1 Structuring Element Output Image 1

Example for Dilation 1 Input image Structuring Element Output Image 1 1 Structuring Element Output Image 1

Example for Dilation 1 Input image Structuring Element Output Image 1 1 Structuring Element Output Image 1

Example for Dilation 1 Input image Structuring Element Output Image 1 1 Structuring Element Output Image 1

Example for Dilation 1 Input image Structuring Element Output Image 1 1 Structuring Element Output Image 1

Example for Dilation 1 Input image Structuring Element Output Image 1 Structuring Element Output Image 1 The object gets bigger and holes are filled!

Erosion (based on ”Fit”)

Example for Erosion 1 Input image _ Structuring Element Output Image 1 Structuring Element _ Output Image Fit: If all ’1’s in the SE overlap with input => output = 1, otherwise output = 0

Example for Erosion Input image 1 1 Structuring Element Output Image

Example for Erosion Input image 1 1 Structuring Element Output Image

Example for Erosion Input image 1 1 Structuring Element Output Image

Example for Erosion Input image 1 1 Structuring Element Output Image 1

Example for Erosion Input image 1 1 Structuring Element Output Image 1

Example for Erosion Input image 1 1 Structuring Element Output Image 1

Example for Erosion 1 Input image Structuring Element Output Image 1 Structuring Element Output Image 1 The object gets smaller

2D Dilation (based on Hit) Structuring element Objects are merged (holes are filled) Sharp corners are preserved

Edge detection

2D edge detection :Canny Filter out noise Take a derivatives

Edge Detection Image Vertical edges Horizontal edges

Original image x derivative y derivative Gradient magnitude

מרכז כובד Center of mass

מומנטים מומנט מסדר ראשון d – מרחק ממרכז כובד P – קבוצת פיקסלים Ii – ערך הפונקציה בנקודה i מומנט מסדר n (תוחלת=מ"מ, שונות, צידוד=א-סימטריה, גבנוניות)

מומנטים דו ממדיים מאפייני תמונה רבים ניתנים לייצוג בעזרת מומנטים דו ממדיים. המומנט ה- (p,q) של אזור R המוגדר על ידי הפונקציה I(x,y) נתון על ידי:

מומנטים לתמונות דיגיטאליות עבור תמונה דיגיטאלית עם mXn פיקסלים המומנט הינו: עבור תמונה בינארית I(x,y) הינה 1 עבור פיקסלים של הגוף ו-0 לרקע.

Discrete Binary Images Area: Zeroth Moment Position: Center of Mass (First Moment) Moment of Inertia (Second Moments): j I(i, j) i

הגדרת מרכז המסה על ידי מומנטים זהו ממוצע משוקלל על פי ערכי הפיקסלים

מומנטים ממורכזים במידה ומייחסים מומנטים למרכז המסה מקבלים מאפיין שאינו רגיש למיקום החפץ

ציר ראשי ציר ראשי של גוף הינו הציר העובר דרך מרכז המסה שנותן את מומנט האינרציה המינימאלי. הציר יוצר זווית  ביחס לציר ה-X הציר הראשי חשוב לקביעת אוריינטציה של גוף

דוגמא