1. פרויקט עקיבה בצבע אחרי מספר מטרות בעזרת קורלציה, מסנן קלמן, JPDAF
מגישים: אורן פסטרנאק מנחה : ד"ר גבי דוידוב
לימור שגיא

2. על סדר היום מטרות הפרויקט מבנה מערכת העקיבה שיטות גילוי מסנני עקיבה
קורלציה
התאמה לצבע
שיפור הסיבוכיות
מסנני עקיבה
מסנן קלמן
מסנן JPDAF
מימוש האלגוריתמים על סרטים צבעוניים

3. מטרות הפרויקט לימוד טכניקות עקיבה שונות.
טיפול בנושא הצבע וניסיון לשלבו במערכות העקיבה.
מימוש מסנני קלמן ו-JPDAF.
צילום סרט צבעוני הכולל מספר מטרות נעות ועקיבה אחר המטרות בעזרת המסננים הנ"ל.
הפרויקט מומש בסביבת MATLAB.

4. מבנה מערכת העקיבה תיאור עקרוני
בחירת
מטרות
ע"י
המשתמש
שיערוך המדידה הבאה בהנחת מהירות 0
סימון חלונות החיפוש
חיפוש ע"י קורלציה וקבלת מספר לא ידוע של מדידות
שיערוך פרמטרים באמצעות ניתוח מאורעות שיתופיים
חיזוי מיקום המדידה הבאה לפי מודל תנועה מסדר 2
קביעת חלון חיפוש סביב שיערוך המדידה הבאה
מסנן JPDAF

5. שיטות למציאת המטרה מרכז מסה קורלציה מתאים לתמונות שחור לבן.
בתמונות צבע אין משמעות למושג מסה.
קורלציה
חיפוש מטרה ע"י תמונת רפרנס.
בכל פריים נבדקת התאמה בין תמונת הרפרנס לחלקים בפריים.
מתקבלת מטריצת קורלציה מתוכה נבחר הערך המקסימאלי.
בהמשך נראה התאמה של נוסחת הקורלציה לתמונת צבע.

6. טיפול בצבע – מודל RGB
במודל RGB צבע מיוצג ע"י 3 משתנים בעלי ערך בין 0 ל-255 המיצגים את ערכי צבעי הבסיס אדום ירוק וכחול.
תמונת צבע מיוצגת ע"י מטריצה3D :
n,m משתני מקום ו c=1,2,3 מגדיר צבעי RGB
הרחבנו את נוסחת הקורלציה ל3D:

7. בעיות עם פונקצית הקורלציה ופתרונן
סיבוכיות זמן ריצה גבוהה
כל צעד בחיפוש דורש סכימה ע"פ מטריצה 3D.
הוספנו פרמטר של גודל צעד שמותאם לגודל הרפרנס ולחלון החיפוש. בצורה זו הקטנו את מספר הצעדים הדרוש בכל חיפוש.
גודל הצעד נבדק אמפירית ונבחר גודל שנותן trade off מספק בין דיוק הפונק' לבין הסיבוכיות.

8. בעיות עם פונקצית הקורלציה ופתרונן
ערכי קורלציה גבוהים מדי בתמונות צבע אמיתיות
בתמונות שחור לבן מתגברים על הבעיה הנ"ל ע"י סף בינאריזציה והמרת התמונה לתמונה בינארית.
עבור מודל הצבע ניסינו למצוא טיפול דומה.
נסיון א': קביעת ערך סף ובינאריזציה עבור כל צבע בדומה לתמונות שחור לבן
בעיה בהבחנה בין צבעים המורכבים משילוב של צבעי היסוד.
הצבע הכתום והצהוב למשל מורכבים ממשקלים שונים של אדום וירוק. בבינאריזציה השפעת היחסים בין המשקלים מתבטלת.
שינוי סף נותן הפרדה בין צבעים מסוימים, אבל פוגע בצבעים אחרים.
נסיון ב': קביעת רמות קונטיזציה
ע"י בניית פונקציה rgb_quant.m קיבלנו חלוקה למספר רמות קונטיזציה.
חלוקה זו נותנת הפרדה טובה בין צבעים וערכי קורלציה הפרושים טוב יותר.
מספר הרמות נקבע בצורה אמפירית כך שנתן ערכים טובים עבור מגוון תמונות צבע.

9. עקיבה ע"י קורלציה עם סרט אמיתי

10. הדגמת פעולת הקוונטיזציה
זהו המפתח להצלחת פעולת הקורלציה בצבע.

11. בעיה בעקיבה ע"י קורלציה :הסתרות
חיפוש המטרה מתבצע בתוך חלון חיפוש ולא ע"פ כל הפריים. מיקום חלון החיפוש מתעדכן בפריים הבא לפי תוצאת הקורלציה.
כאשר המטרה מוסתרת, פונק' הקורלציה נותנת מיקום לא נכון והחלון חיפוש לא מתעדכן לערך הנכון.

12. פתרון: מסנן קלמן
מסנן זה מפיק את המשערך של וקטור המצב הבא האופטימאלי במובן של מזעור שונות השגיאה.
מודל המערכת: משוואות תנועה מסדר שני

13. משוואות המסנן P –קוואריאנס וקטור המצב (בהינתן המדידות)
- שערוך מיטבי של ווקטור המצב
מסנן קלמן נידון בהרחבה בעבודות קודמות לכן לא נרחיב לגביו

14. פתרון: מסנן קלמן מסנן קלמן נותן חיזוי של מיקום המטרה בפריים הבא.
כאשר המטרה מוסתרת, פונ' הקורלציה מחזירה את מרכז חלון החיפוש ורוב משקל העקיבה וקידום חלון החיפוש הבא ניתן באמצעות שיערוך המסנן.
שיפור נוסף לטיפול בהסתרות: חלון חיפוש מתנפח
כאשר המטרה מוסתרת מגדילים את החלון בו מחפשים את המטרה.

15. ריבוי מטרות
כאשר העקיבה היא אחרי מספר מטרות לכל מטרה יש חלון חיפוש משלה.
חלון חיפוש של מטרה מסוימת יכול להכיל מטרה אחרת. במקרה זה פונ' הקורלציה יכולה להחזיר מספר מדידות.
בשיטת הקורלציה ומסנן קלמן, הזיהוי של מטרה בתוך חלון חיפוש נעשה לפי:
Strongest Neighbour Standard Filter (SNSF). כלומר, המדידה שנותנת קורלציה הכי גבוהה עם תמונת הרפרנס נבחרת כמדידה המתאימה.

16. ריבוי מטרות – מסנן JPDAF
Joint Probabilistic Data Association Filter
מסנן JPDAF מניח מספר מטרות ומביא בחשבון את כל המדידות התקפות בכל פריים.
אלגוריתם JPDAF:
קבלת מספר מדידות מפונק' הקורלציה עבור כל מטרה.
יצירת "מאורעות שיוך סבירים": כל המאורעות האפשריים המשייכים מטרה מסוימת למדידה מסוימת.
נתינת משקל הסתברותי לכל מאורע ע"ס מודל התנועה של כל מטרה.
שיערוך מיקומה של כל מטרה לפי המשקלים ההסתברותיים.
חיזוי מיקום המטרה בפריים הבא לפי משוואות המצב כפי שנעשה במסנן קלמן.

17. מימוש אלגוריתם JPDAF הרחבת פונ' הקורלציה כך שתחזיר מספר מדידות
חיפוש מקסימות לוקליות של מטריצת הקורלציה.
החזרת כל המדידות שמעל ערך סף הנקבע האופן דינאמי ביחס למקסימום הגלובאלי.
יצירת מטריצת תיקוף אשר תכיל את המידע המתאר אילו מדידות נמצאות בתוך חלון החיפוש של כל מטרה
דוגמה:
מדידה 1
מדידה 2
מדידה 3
מדידה 4
שורה מייצגת מדידה. עמודה מייצגת מטרה. עמודה 0 מייצגת מדידת שווא.

18. מימוש אלגוריתם JPDAF יצירת מאורעות השיוך הסבירים:
כל מטרה נובעת לכל היותר ממדידה אחת וכל מדידה שייכת ללא יותר ממטרה אחת.
בכל שורה יש למקם 1 בודד.
בכל עמודה יש למקם לכל היותר 1 בודד מלבד עמודה 0 המייצגת מדידה שקרית.
יצירת מאורעות השיוך הסבירים ע"י פונק' רקורסיבית בשיטת backtracking הנותנת את כל הקומבינציות האפשריות עבור מספר מדידות שאינו ידוע מראש.
דוגמה למאורע אפשרי:
מדידה 1
מדידה 2
מדידה 3
מדידה 4
הערה: מאורע זה בהכרח אינו המאורע הנכון ולכן אמור לקבל משקל הסתברותי נמוך.

19. מימוש אלגוריתם JPDAF חישוב המשקל ההסתברותי של כל מאורע נעשה ע"י
האם למדידה i משויכת מטרה כלשהי.
מספר המדידות השקריות במאורע.
הסתברות שהמטרה t אותרה (נקבע לפי ערך הקורלציה) .
נפח אזור התקפות (חלונות החיפוש).
קורדינטות המדידה הנוכחית.
מידול הפילוג של מיקום המטרה האמיתית

20. מימוש אלגוריתם JPDAF שיערוך מיקומה הנוכחי של כל מטרה j לפי
הוא שיערוך וקטור המצב של מטרה j בהינתן שמדידה i שייכת למטרה זו כפי שנעשה במסנן קלמן.
הוא ההסתברות לכך שהמדידה i שייכת למטרה j.
כלומר סכום כל המאורעות השיתופיים בהם מדידה i משויכת למטרה j מוכפלים בהסתברות כל מאורע.
חיזוי מיקום המטרה בפריים הבא נעשה ע"י קידום משוואות המצב כפי שנעשה במסנן קלמן, ע"ס

21. שלבי עבודה על סרט צבע
קבלת מיקום המטרות מהמשתמש

22. שלבי עבודה על סרט צבע
קביעת חלון חיפוש סביב כל מטרה

23. שלבי עבודה על סרט צבע עקיבה אחרי המטרות בעזרת אלגוריתם JPDAF
במידה ומטרה יוצאת מהפריים, חלון החיפוש שלה קטן (ברוחב או בגובה). כאשר החלון קטן מאחוז מסוים מגודלו המקורי, מכריזים על המטרה כנעלמת.

24. מימוש העקיבה בסרט צבע

25. מימוש העקיבה בסרט צבע שונה
הטיפול בסרט זה זהה לטיפול בסרט הקודם מלבד השוני בתמונות הרפרנס וצבע חלונות החיפוש, כלומר הקוד גנרי ואמור לעבוד עם סרטי מקור שונים (במגבלת מודל התנועה).

26. הצעות להמשך טיפול בפגיעה בקירות והחזרה: התאמת סדר המודל.
טיפול בפרספקטיבה: כאשר הכדור קרוב יותר למצלמה הוא נראה גדול יותר וכן מהיר יותר.
טיפול בהארה לא אחידה. אפשרי ע"י עדכון תמונת רפרנס או שילוב של מודל הצבע HSV המכיל מידע על עצמת ההארה.

27. The Tnd
אפשר להתפזר...