עיבוד תמונות

Optical character recognition (OCR) Digit recognition, AT&T labs Technology to convert scanned docs to text If you have a scanner, it probably came with OCR software License plate readers

Face detection Many new digital cameras now detect faces – Canon, Sony, Fuji, …

Login without a password… Fingerprint scanners on many new laptops, other devices Face recognition systems now beginning to appear more widely

The Matrix movies, ESC Entertainment, XYZRGB, NRC Special effects: shape capture

Smart cars Mobileye [wiki article] Mobileyewiki article – Vision systems currently in high-end BMW, GM, Volvo models – By 2010: 70% of car manufacturers. Slide content courtesy of Amnon Shashua

Google cars

Computer vision vs human vision What we seeWhat a computer sees

נמרוד פלג 2004 עיבוד תמונה ותחומים סמוכים “ עיבוד תמונות ” דן ב ” משימות ” בהן הקלט והפלט הינם תמונות. “ ראיה ממוחשבת ”: הקלט תמונה, והפלט אינו תמונה אלא מידע עליה (Computer Vision). “ גרפיקה ממוחשבת ”: הקלט הינו מידע כלשהו והפלט הינו תמונה.(Computer Graphics). לדוגמא : מציאת המיפוי התלת - מימדי של גופים בתמונה, לעומת בנית תמונה ריאליסטית ממידע על גופים תלת - מימדיים במרחב (Rendering).

נמרוד פלג 2004 מסלול אופיני לתמונה אופטיקה אלקטרו - אופטיקה עיבוד האות עיבוד התמונה ראייה עדשת מצלמה גלאי CCD תיקון תחום דינמי, כימוי … דחיסה ושיפור הבנת התמונה עדשת העין ( מיקוד ( חישני מע ’ הראייה (Cones, Rods) תיקון תחום דינמי, כימוי ועוד במע ’ הראיה דחיסה ושיפור, במסלול עין - מוח ובמוח הראייה. הבנת התמונה : זיהוי, תנועה …

נמרוד פלג 2004 תחומים שונים בעיבוד תמונה שיפור (Enhancement): סילוק “ קלקולים ” שנוצרו בדגימה. שחזור (Restoration): סילוק קלקולים שטיבם ידוע. ניתוח (Analysis): זיהוי מרכיבים בדר ” כ לצורך מע ’ אוטומטיות. דחיסה (Compression): ייצוג חסכוני ע ” י סילוק מידע לא חיוני. בנייה (Reconstruction): הרכבה על - סמך מידע חלקי ( הדמיה ע ” י “ חתכים ”)

Image Processing 12 Discrete Images vs. Continuous Images

Image Processing 13 The stages are – Image acquisition – how we obtain images in the first place – Preprocessing – any effects applied before mapping (e.g. crop, mask, filter) – Mapping – catch-all stage involving image transformations or image composition – Postprocessing – any effects applied after mapping (e.g. texturizing, color remapping) – Output – printing or displaying on a screen Stages are sometimes skipped The middle stages are often interlaced The Five Stages of Image Processing

Image Processing 14 Image Synthesis – Images created by a computer – Painted in 2D Corel Painter (website)website Photoshop (website)website – Rendered from 3D geometry Pixar’s RenderMan (website)website Autodesk’s Maya (website)website – Procedurally textured Generated images intended to mimic their natural counterparts E.g. procedural wood grain Image Capture Images from the “real world” Information must be digitized from an analog signal Common capture methods: Digital camera Satellite data Drum scanner Flatbed photo scanner Frames from video Stage 1: Image Acquisition

עיבוד סיפרתי של תמונות: תמונה ספרתית15 תמונה ספרתית Gonzalez & Woods

עיבוד סיפרתי של תמונות: תמונה ספרתית16 תמונה ספרתית Transforming the 3D world into 2D image Perspective projection Sampling the image plane Finite number of pixels Quantizing the color/gray level Finite number of colors

הטלת פרספקטיבה עיבוד סיפרתי של תמונות: תמונה ספרתית17 העתקה מתלת-ממד לדו-ממד (x,y,z) Y X Z x f Z y (x,y) (X,Y,Z)

נמרוד פלג 2004 רמות האפור ורציפותן במקור, האובייקט אותו מצלמים הינו “ רציף ” הן בשטחו (” מרחב ”) והן בצבעו (“ בהיקות ”), אך במעבר למחשב חייבים, משיקולים מעשיים לדגום את התמונה בנקודות מסוימות ( פיקסלים בדידים ) ובצבעים מסוימים ( רמות אפור בדידות (. מתקבל מערך ( או מטריצה ) של נקודות מיצגות הערה : בדיד = דיסקרטי, Discrete

נמרוד פלג 2004 ומה בתמונת צבע ? בתמונת צבע מורכבת כל נקודה (pixel) משלשה צבעי יסוד : אדום, ירוק וכחול ( מסומן RGB), ולכן נתאר כל פיקסל ע ” י שלש פונקציות :

דגימה וכימוי (Sampling & Quantification) עיבוד סיפרתי של תמונות: תמונה ספרתית20 Gonzalez & Woods

עיבוד סיפרתי של תמונות: תמונה ספרתית21 דגימת תמונה ( מספר הפיקסלים ) Sampling 4X4 16X16 8X8 32X32 64X64 128X128

עיבוד סיפרתי של תמונות: תמונה ספרתית22 כימוי – (Quantization) ( מרחב האפשריות לפיקסל ) 256 Levels 16 Levels 4 Levels2 Levels

עיבוד סיפרתי של תמונות: תמונה ספרתית23 ייצוג תמונה ספרתית מטריצה של מספרים ( דרגות אפור, צבעי LUT) מטריצה של שלשות (RGB) Gonzalez & Woods

נפח זיכרון של תמונה עיבוד סיפרתי של תמונות: תמונה ספרתית24 N M מספר דרגות אפור מספר פיקסלים נפח התמונה

עיבוד סיפרתי של תמונות: תמונה ספרתית25 היסטוגרמה Frequency counting of gray levels Frequency Gray-Level In the limit of continuous intensities: a continuous probability distribution p(g)

עיבוד סיפרתי של תמונות: תמונה ספרתית26 היסטוגרמה - דוגמא

Each source image is adjusted to fit a given tone, size, shape, etc., to match a desired quality or to match other images Can make a set of dissimilar images appear similar (if they are to be composited later), or make similar parts of an image appear dissimilar (such as contrast enhancement) Image Processing 27 Stage 2: Preprocessing Original Adjusted grayscale curve

Preprocessing techniques include: – Adjusting color or grayscale curve – Cropping – Masking (cutting out part of an image) – Blurring and sharpening – Edge detection/enhancement – Filtering and antialiasing – Scaling up (super sampling) or scaling down (sub sampling) Image Processing 28 Stage 2: Preprocessing (continued)

נמרוד פלג 2004 שיפור תמונה קלקולים אופיניים המתקבלים במהלך דגימת או צילום התמונה, מפריעים להבחין בפרטים, מטשטשים את האובייקט וכדומה. תמונת מקור : תצ ” א (Aerial)

נמרוד פלג 2004 ניגודיות נמוכה (Low Contrast)

נמרוד פלג 2004 טשטוש (Blur)

נמרוד פלג 2004 קלקולים נוספים מיקוד לא נכון (De-Focus). תזוזה או רעידה של המצלמה או הגוף. תנועות תרמיות של אויר ( טורבולנציה ) ניתן לתקן חלק מהבעיות ע ” י עיבוד מתאים אך חייבים לזכור : לא ניתן להוסיף מידע שלא היה קיים בתמונה המקורית ! ( או בתמונות המקוריות )

Notes: – Blurring, sharpening, and edge detection can also be postprocessing techniques – Some preprocessing algorithms are not followed by mapping, others that involve resampling the image may be interlaced with mapping: filtering is done this way Image Processing 33 Stage 2: Preprocessing (continued)

Image Processing 34 Mapping is a catch-all stage where several images are combined, or geometric transformations are applied Transformations include: – Rotating – Scaling – Warping Compositing: – Basic image overlay – Smooth blending with alpha channels – Poisson image blending Seamlessly transfers “details” (like edges) from part of one image to another Stage 3: Mapping Poisson Image Blending Image Warping Image credit: © Evan Wallace 2010

35/45 How do we use Geometric Transformations? (1/2)

36/45 Some Linear Algebra Concepts...

37/45 Linear Transformations (1/3) a b

38/45 Linear Transformations as Matrices (1/2)

39/45 Linear Transformations as Matrices (2/2)

40/45 Scaling in 2D (1/2) Side effect: House shifts position relative to origin

41/45 Scaling in 2D (2/2)

42/45 Rotation in 2D (1/2)

43/45 Rotation in 2D (2/2)

44/45 What about translation?  If we could treat all transformations in a consistent manner, i.e., with matrix representation, then could combine transformations by composing their matrices  Let’s try using a Matrix again  How? Homogeneous Coordinates: add an additional dimension, the w-axis, and an extra coordinate, the w- component  thus 2D -> 3D (effectively the hyperspace for embedding 2D space)

Translation uses a 3x3 Matrix, but Scaling and Rotation are 2x2 Matrices Let’s homogenize! Doesn’t affect linearity property of scaling and rotation Our new transformation matrices look like this… Note: These 3 transformations are called affine transformations 45/45 Transformations Homogenized TransformationMatrix Scaling Rotation Translation

46/45 Examples

Aging Image Processing 47 Creates global effects across an entire image or selected area Art effects – Posterizing – Faked “aging” of an image – Faked “out-of-focus” – “Impressionist” pixel remapping – Texturizing Technical effects – Color remapping for contrast enhancement – Color to B&W conversion – Color separation for printing (RGB to CMYK) – Scan retouching and color/contrast balancing Edge Detection Stage 4: Postprocessing Posterizing Impressionist

עיבוד סיפרתי של תמונות : קצוות תמונה 48 קצוות תמונה Edge Detection

עיבוד סיפרתי של תמונות : קצוות תמונה 49 קצוות תמונה קצוות של תמונה סינטטית קצוות מאפייני אובייקטים קצוות שאינם מאפיינים אובייקטים

שימוש בנגזרות עיבוד סיפרתי של תמונות : קצוות תמונה 50 f(x) f’(x) f’’(x) f(x)-f’’(x) נקודת חציית האפס גובה הנגזרת מאפיין את שיפוע המדרגה

עיבוד סיפרתי של תמונות : קצוות תמונה 51 נגזרות ראשונות אופרטור הגרדיאנט: גודל הגרדיאנט : כיוון הגרדיאנט :

עיבוד סיפרתי של תמונות : קצוות תמונה 52 נגזרות ראשונות Gonzalez & Woods

עיבוד סיפרתי של תמונות : קצוות תמונה 53 נגזרות של תמונה רועשת Gonzalez & Woods

עיבוד סיפרתי של תמונות : קצוות תמונה 54 נגזרת ראשונה של תמונה רועשת

עיבוד סיפרתי של תמונות : קצוות תמונה 55 נגזרת ראשונה של תמונה רועשת פתרון: לבצע החלקה לפני הגזירה Gonzalez & Woods

Image Processing 56 Choice of display/archive method may affect earlier processing stages – Color printing accentuates certain colors more than others – Colors on the monitor have different gamuts and HSV values than the colors printed out Need a mapping – HSV = hue, saturation, value, a cylindrical coordinate system for the RGB color model – Gamut = set of colors that can be represented by output device/printer Display Technologies Monitor (CRT → LCD/LED/OLED/ Plasma panel) Color printer Film/DVD Disk file Texture map for 3D renderer Stage 5: Output (Archive/Display)