עיבוד תמונות ואותות בעזרת מחשב תרגול מס' 8: Template Matching

למה רוצים לעשות Template Matching על מה נדבר היום... מה זה Template Matching למה רוצים לעשות Template Matching איך עושים Template Matching דוגמאות

מה זה Template Matching? נמצא בתמונה איפה ? בעצם 2 שאלות: האם בכלל נמצא? אם נמצא, איפה? כמה פעמים?

למה נרצה לעשות Template Matching? זיהוי טקסט אוטומטי (OCR) עקיבה אחר אובייקט בתוך וידאו זיהוי אזורים דומים בשתי תמונות זיהוי עצמים בתמונות לויין מערכת סיוע לנהג שערוך תלת מימד ועוד, ועוד...

ניסוח פורמלי של בעיית template matching סימונים: T התמונה אותה נחפש (זהו ה template) תמונה דו מימדית, גודלה m עמודות ו n שורות I התמונה בתוכה נחפש תמונה דו מימדית, גודלה M עמודות ו N שורות בד"כ M>>m ו N>>n נגדיר פונ' דמיון sim: מקבלת שתי תמונות באותו גודל מחזירה ציון בין 0 ל 1, המשקף את הדמיון בין שתי התמונות

איזה סוגי תנועות אפשר לחפש? סיבובים הזזות נתמקד בהזזות X2 בכמה גדלים התמרה אפינית ועוד...

איך נחפש הזזות? נבדוק לכל הזזה את מדד הדמיון - יוצרים תמונה SimMap שכל פיקסל הוא הדמיון עבור הזזה (u,v) איך נחליט איפה לסמן? אפשרות א': נסמן את המיקום "הדומה ביותר" חסרונות: נסמן גם אם לא קיים בכלל נסמן רק אחד גם אם יש כמה אפשרות ב': נבחר את כל המקומות הדומים מספיק (מעבר לסף) אם יש "קבוצה" של גילויים – נבחר מקסימום מקומי איך נקבע את הסף?

איך נחפש הזזות? - דוגמא

מדדי דמיון אפשריים: התאמה מושלמת נדרוש זהות מוחלטת בכל הפיקסלים יתרונות: לא צריך לקבוע סף כל מקום שמזוהה גילוי הוא גילוי אמיתי חסרונות: לא פרקטי – בתמונות יש תמיד רעש, ואף-פעם אין דמיון מוחלט

מדדי דמיון אפשריים: ממוצע הפרשים מרובעים MSE – Mean Squared Error זהו מדד להבדל ולא לדמיון – צריך לשים לב המינימום 0 – מושג כאשר התמונות זהות רגישות ל: שינויים גדולים לוקליים (רעש salt & pepper, הפרעות מקומיות) שינויי תאורה (אותה תמונה בבוקר ובערב)

מדדי דמיון אפשריים: סכום הפרשים מוחלטים פחות רגישות לשינויים גדולים רגישות לתאורה

קורלציה נפתח את מדד ה MSE: גורם זה תלוי ב I1 בלבד

קורלציה כמדד דמיון ניתן להגדיר את מדד הדמיון: מה הבעיה? רגישות מאד גבוהה לתאורה אזורים בהירים תמיד יתנו ערכי קורלציה גבוהים יותר מאזורים כהים... צריך להתחשב בממוצע

רגישות לתאורה כבעיה של מדדים המדדים שהגדרנו רגישים לבעיית תאורה כלומר כאשר עוצמת התאורה של T ושל I שונות, לא נמצא את המקום הנכון שינוי בעוצמת התאורה משפיע על התמונה ע"י aI+b, כלומר הכפלה בסקלר והוספת קבוע אם כיוון התאורה משתנה, הקשר לא פשוט ותלוי במבנה של העולם אותו מצלמים איך ניתן לפתור את הבעיה? ניתן לעשות template matching כאשר את I נחליף ב aI+b, עבור ערכים שונים של a ו b פתרון טוב יותר: ננרמל את ערכי התמונות

נרמול של תמונה בהינתן תמונה, נרצה למצוא את התמונה המנורמלת המקבילה לה. בתמונה המנורמלת: ממוצע הערכים 0 סטיית התקן 1 כיצד זה מתבצע?

נרמול של תמונה - המשך חשב ממוצע חשב סטיית תקן חשב תמונה מנורמלת

קורלציה מנורמלת ו MSE נחזור לפיתוח של מדד ה MSE: אם שתי התמונות מנורמלות, שני איברים אלה קבועים לכן מספיק לחשב את האיבר הזה

קורלציה מנורמלת וMSE כלומר, אם התמונות מנורמלות, שקול לחיפוש ההזזה שתיתן קורלציה מנורמלת מקסימלית וזה ייתן פתרון בלתי תלוי בתאורה

קורלציה מנורמלת הנוסחא המלאה לחישוב קורלציה מנורמלת: נוסחא זאת אינה תלוייה בעוצמת התאורה הגלובלית נוסחא זאת אינה שקולה ל MSE רק ל MSE בין התמונות המנורמלות

Template Matching באמצעות קורלציה מנורמלת Inputs: T-template, I-Image, Thr – Threshold Inits: Normalize T Run on all u=1..width, v = 1..height Extract: Win=I(u+1:u+n, v+1:v+m) Normalize Win Compute Map(u,v) = NCC(T , Win) Find (u,v) such that Map(u,v)>=Thr Remove (u,v) that are not local maxima

Template Matching יעיל באלג' בשקף הקודם נרמלנו כל חלון נניח ידוע לנו לכל חלון הממוצע וסטיית התקן ישנן דרכים יעילות לחשב אותם על תמונה שלמה (ספרביליות) אין צורך לבצע את הנרמול על I1 ו I2 בפועל, אלא רק להשתמש בנוסחא

Template Matching יעיל צורה לא יעילה (צריך לחסר ממוצע מכל פיקסל) צורה יעילה (מספיק הכפל איבר-איבר)

הדוגמא שלנו

תמונה של השגיאה הריבועית ב- u,v שגיאה ריבועית תמונה של השגיאה הריבועית ב- u,v ערך מינימלי ב- x=300 ; y=45

קורלציה מנורמלת (עם חיסור ממוצע) קורלציה מנורמלת עם חיסור ממוצע ב- u,v ערך מקסימלי ב- x=300 ; y=45

תמונת ייחוס "חשוכה" יותר: מוכפלת פי 0.5 תמונת המקור לא השתנתה. שינוי תמונת ה Template קורלציה מנורמלת עם חיסור ממוצע ב- u,v ערך מקסימלי ב- x=300 ; y=45 תמונת ייחוס "חשוכה" יותר: מוכפלת פי 0.5 תמונת המקור לא השתנתה. אין שינוי בערכים !

חיפוש Template בגדלים שונים נבנה פירמידה גרסאות מוקטנות של התמונה נחפש בכל אחת ה Template לא משתנה! ונמזג את התוצאות גילויים בגדלים שונים...

שימושים נוספים – זיהוי נקודות "זהות" בתמונות שימושים: עקיבה אחר אובייקט נע בוידאו למשל רכב נוסע שחזור תנועת המצלמה אם זיהינו מספר נקודות נייחות, ניתן לדעת איך נעה המצלמה שחזור תלת מימד אם צילמנו ב2 מצלמות, וזיהינו לאיזה נקודה כל נקודה קשורה כמו העיניים ועוד...

דוגמא לעקיבה אחר Features בוידאו התאמה לפי קריטריון קורלציה מנורמלת עם חיסור ממוצע