1. עיבוד תמונות ואותות בעזרת מחשב תרגול מס' 8: Template Matching

2. למה רוצים לעשות Template Matching
על מה נדבר היום...
מה זה Template Matching
למה רוצים לעשות Template Matching
איך עושים Template Matching
דוגמאות

3. מה זה Template Matching?
נמצא בתמונה
איפה ?
בעצם 2 שאלות:
האם בכלל נמצא?
אם נמצא, איפה? כמה פעמים?

4. למה נרצה לעשות Template Matching?
זיהוי טקסט אוטומטי (OCR)
עקיבה אחר אובייקט בתוך וידאו
זיהוי אזורים דומים בשתי תמונות
זיהוי עצמים בתמונות לויין
מערכת סיוע לנהג
שערוך תלת מימד
ועוד, ועוד...

5. ניסוח פורמלי של בעיית template matching
סימונים:
T התמונה אותה נחפש (זהו ה template)
תמונה דו מימדית, גודלה m עמודות ו n שורות
I התמונה בתוכה נחפש
תמונה דו מימדית, גודלה M עמודות ו N שורות
בד"כ M>>m ו N>>n
נגדיר פונ' דמיון sim:
מקבלת שתי תמונות באותו גודל
מחזירה ציון בין 0 ל 1, המשקף את הדמיון בין שתי התמונות

6. איזה סוגי תנועות אפשר לחפש?
סיבובים
הזזות
נתמקד בהזזות X2
בכמה גדלים
התמרה אפינית
ועוד...

7. איך נחפש הזזות?
נבדוק לכל הזזה את מדד הדמיון - יוצרים תמונה SimMap שכל פיקסל הוא הדמיון עבור הזזה (u,v)
איך נחליט איפה לסמן?
אפשרות א': נסמן את המיקום "הדומה ביותר"
חסרונות:
נסמן גם אם לא קיים בכלל
נסמן רק אחד גם אם יש כמה
אפשרות ב': נבחר את כל המקומות הדומים מספיק (מעבר לסף)
אם יש "קבוצה" של גילויים – נבחר מקסימום מקומי
איך נקבע את הסף?

8. איך נחפש הזזות? - דוגמא

9. מדדי דמיון אפשריים: התאמה מושלמת
נדרוש זהות מוחלטת בכל הפיקסלים
יתרונות:
לא צריך לקבוע סף
כל מקום שמזוהה גילוי הוא גילוי אמיתי
חסרונות:
לא פרקטי – בתמונות יש תמיד רעש, ואף-פעם אין דמיון מוחלט

10. מדדי דמיון אפשריים: ממוצע הפרשים מרובעים
MSE – Mean Squared Error
זהו מדד להבדל ולא לדמיון – צריך לשים לב
המינימום 0 – מושג כאשר התמונות זהות
רגישות ל:
שינויים גדולים לוקליים (רעש salt & pepper, הפרעות מקומיות)
שינויי תאורה (אותה תמונה בבוקר ובערב)

11. מדדי דמיון אפשריים: סכום הפרשים מוחלטים
פחות רגישות לשינויים גדולים
רגישות לתאורה

12. קורלציה נפתח את מדד ה MSE: גורם זה תלוי ב I1 בלבד

13. קורלציה כמדד דמיון ניתן להגדיר את מדד הדמיון: מה הבעיה?
רגישות מאד גבוהה לתאורה
אזורים בהירים תמיד יתנו ערכי קורלציה גבוהים יותר מאזורים כהים...
צריך להתחשב בממוצע

14. רגישות לתאורה כבעיה של מדדים
המדדים שהגדרנו רגישים לבעיית תאורה
כלומר כאשר עוצמת התאורה של T ושל I שונות, לא נמצא את המקום הנכון
שינוי בעוצמת התאורה משפיע על התמונה ע"י aI+b, כלומר הכפלה בסקלר והוספת קבוע
אם כיוון התאורה משתנה, הקשר לא פשוט ותלוי במבנה של העולם אותו מצלמים
איך ניתן לפתור את הבעיה?
ניתן לעשות template matching כאשר את I נחליף ב aI+b, עבור ערכים שונים של a ו b
פתרון טוב יותר: ננרמל את ערכי התמונות

15. נרמול של תמונה בהינתן תמונה, נרצה למצוא את התמונה המנורמלת המקבילה לה.
בתמונה המנורמלת:
ממוצע הערכים 0
סטיית התקן 1
כיצד זה מתבצע?

16. נרמול של תמונה - המשך
חשב ממוצע
חשב סטיית תקן
חשב תמונה מנורמלת

17. קורלציה מנורמלת ו MSE נחזור לפיתוח של מדד ה MSE:
אם שתי התמונות מנורמלות, שני איברים אלה קבועים
לכן מספיק לחשב את האיבר הזה

18. קורלציה מנורמלת וMSE כלומר, אם התמונות מנורמלות,
שקול לחיפוש ההזזה שתיתן קורלציה מנורמלת מקסימלית
וזה ייתן פתרון בלתי תלוי בתאורה

19. קורלציה מנורמלת הנוסחא המלאה לחישוב קורלציה מנורמלת:
נוסחא זאת אינה תלוייה בעוצמת התאורה הגלובלית
נוסחא זאת אינה שקולה ל MSE
רק ל MSE בין התמונות המנורמלות

20. Template Matching באמצעות קורלציה מנורמלת
Inputs: T-template, I-Image, Thr – Threshold
Inits: Normalize T
Run on all u=1..width, v = 1..height
Extract: Win=I(u+1:u+n, v+1:v+m)
Normalize Win
Compute Map(u,v) = NCC(T , Win)
Find (u,v) such that Map(u,v)>=Thr
Remove (u,v) that are not local maxima

21. Template Matching יעיל
באלג' בשקף הקודם נרמלנו כל חלון
נניח ידוע לנו לכל חלון הממוצע וסטיית התקן
ישנן דרכים יעילות לחשב אותם על תמונה שלמה (ספרביליות)
אין צורך לבצע את הנרמול על I1 ו I2 בפועל, אלא רק להשתמש בנוסחא

22. Template Matching יעיל
צורה לא יעילה (צריך לחסר ממוצע מכל פיקסל)
צורה יעילה (מספיק הכפל איבר-איבר)

23. הדוגמא שלנו

24. תמונה של השגיאה הריבועית ב- u,v
שגיאה ריבועית
תמונה של השגיאה הריבועית ב- u,v
ערך מינימלי ב- x=300 ; y=45

25. קורלציה מנורמלת (עם חיסור ממוצע)
קורלציה מנורמלת עם חיסור ממוצע ב- u,v
ערך מקסימלי ב- x=300 ; y=45

26. תמונת ייחוס "חשוכה" יותר: מוכפלת פי 0.5 תמונת המקור לא השתנתה.
שינוי תמונת ה Template
קורלציה מנורמלת עם חיסור ממוצע ב- u,v
ערך מקסימלי ב- x=300 ; y=45
תמונת ייחוס "חשוכה" יותר: מוכפלת פי תמונת המקור לא השתנתה.
אין שינוי בערכים !

27. חיפוש Template בגדלים שונים
נבנה פירמידה
גרסאות מוקטנות של התמונה
נחפש בכל אחת
ה Template לא משתנה!
ונמזג את התוצאות
גילויים בגדלים שונים...

28. שימושים נוספים – זיהוי נקודות "זהות" בתמונות
שימושים:
עקיבה אחר אובייקט נע בוידאו
למשל רכב נוסע
שחזור תנועת המצלמה
אם זיהינו מספר נקודות נייחות, ניתן לדעת איך נעה המצלמה
שחזור תלת מימד
אם צילמנו ב2 מצלמות, וזיהינו לאיזה נקודה כל נקודה קשורה
כמו העיניים
ועוד...

29. דוגמא לעקיבה אחר Features בוידאו התאמה לפי קריטריון קורלציה מנורמלת עם חיסור ממוצע