1. עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift
הטכניון - מכון טכנולוגי לישראל TECHNION - ISRAEL INSTITUTE OF TECHNOLOGY הפקולטה להנדסת חשמל המעבדה לבקרה ורובוטיקה
עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift
מגישים:
ספי פרידמן
אייל אפרת
מנחה :
מר אריה נחמני

2. תוכן עניינים מוטיבציה מטרות הפרויקט דרכי הפתרון תיאור המערכת
שיפורי מערכת
תפקוד המערכת
סיכום ומסקנות

3. מוטיבציה מטרה: עקיבה אחר עצמים בסרטים.
מהן הבעיות המתעוררות בעקיבה בווידאו?
ראות לקויה
עצם דומה לעצם שאחריו עוקבים
הסתרה רגעית של העצם
שינוי הגוון
זמן עיבוד
פתרון: דרוש אלגוריתם יעיל ופשוט שבאמצעותו יהיה אפשר לעקוב אחר עצמים נעים, שיוכל להתגבר על המכשולים.

4. מטרות הפרויקט עקיבה אחר עצם נע המבוססת על אלגוריתם Mean-Shift
התגברות על חלק מהבעיות המתעוררות בעקיבה בווידאו
השוואה בין מערכת העקיבה שלנו למערכת עקיבה המבוססת על שיטת הקורלציה

5. נדון בשתי דרכי פתרון לבעיית העקיבה: קורלציה Mean-Shift
דרכי הפתרון
נדון בשתי דרכי פתרון לבעיית העקיבה:
קורלציה
Mean-Shift

6. שיטת הקורלציה
בשיטה זו עוקבים אחר העצם הנע ע"י השוואת תמונת ייחוס לאזורים שונים בחלון החיפוש.
האיזור הנבדק
חלון החיפוש
תמונת הייחוס
נבדוק את האזורים השונים באזור החיפוש ונבדוק את מקדם קורלציה, והעצם הנע ימצא היכן שהקורלציה היא הגבוהה ביותר.

7. מקדם המתאם של פירסון קרוס קורלציה מנורמלת (NCC)
ערכי המדד ינועו בין 1- ל 1+ כאשר ערכים קרובים ל 1+ יבטאו קשר חיובי חזק בין המשתנים.
נוסחת המתאם :
סטיית התקן:
תוחלת:

8. Mean-Shift
Mean-Shift - שינוי התוחלת, לפיו מחשבים את המיקום החדש של האובייקט.
תוחלת של מה?
בפרויקט זה - הסתברות שיוך רמות אפור לדמות
כל מדד הסתברותי אחר
הפעלת אלגוריתם gradient ascent.

9. הדגמת עקיבה בסרט באמצעות Mean-Shift

10. יישום Mean-Shift בפרויקט זה
המידע ההסתברותי המשמש לתוחלת הוא היסטוגרמת רמות אפור בסרט.
מידת אפור בהיסטוגרמת הפריים מותאמת למידת הסתברות לפי היסטוגרמת האובייקט.
גוון
הסתברות
255
0.02
0.21
הסתברות
סכום = 1
גוון
255

11. יישום Mean-Shift בפרויקט זה
כל פיקסל באזור הסריקה מקבל מידת התאמה לדמות לפי מידת ההסתברות.
מידות הסתברות בין 0 ל-1
פיקסלים של הפריים
בהתאם לגוון בפיקסל היעד
0.05
0.1
0.21
0.04
0.17
גוון
הסתברות
255
0.02
0.21

12. הדגמה
Region of
interest
Center of
mass
Mean Shift
vector

13. הדגמה
Region of
interest
Center of
mass
Mean Shift
vector

14. הדגמה
Region of
interest
Center of
mass
Mean Shift
vector

15. הדגמה
Region of
interest
Center of
mass
Mean Shift
vector

16. הדגמה
Region of
interest
Center of
mass
Mean Shift
vector

17. הדגמה
Region of
interest
Center of
mass
Mean Shift
vector

18. הדגמה
Region of
interest
Center of
mass

19. יישום Mean-Shift בפרויקט זה
מידות הסתברות בין 0 ל-1
פיקסלים של הפריים
0.21
0.1
0.05
0.21
0.17
0.04
0.17
0.1
0.1
מציאת מרכז כובד

20. תיאור סכמתי של המערכת איתחול Mean-Shift
יצירת היסטגרמות ראשוניות מתאימות
סימון הדמות
הצגת הפריים הראשון
העלאת הסרט
מעבר פריים
יצירת היסטוגרמות חדשות
Mean-Shift
מעבר למיקום המשוערך החדש
עדכון ההיסטגרמות
עדיף לעבור
עדיף לעבור
עדיף לעבור
עדיף להישאר
עדיף להישאר
עדיף להישאר
סימון ומעבר למיקום המשוערך החדש

21. בין השורות
מההיסטוגרמה מורידים את השפעות הרקע הקרוב לדמות, לפי היסטוגרמת הרקע.
ההיסטוגרמה מתעדכנת בין הפריימים.
מידת ההסתברות המופקת עוברת החלקה גרעינית:
בשיטה זו ערך הפונקציה בכל נקודה נמדד בהשפעה יחסית לסביבה הקרובה, כאשר ישנה דעיכה של השפעת נקודות רחוקות יותר.

22. למה דווקא היסטוגרמה? יתרונות: מציאת האובייקט ללא קשר ישיר לצורה.
קל למצוא מידת הסתברות מגוונת (לא בינארית).
קל למימוש באופן דיסקרטי על מחשב.
חסרונות:
אובייקטים דומים מבחינת הרכב רמות אפור, ושונים לחלוטין בצורה, יכולים לבלבל את העקיבה.
אובייקט המצוי בסביבה דומה לו מבחינת הרכב רמות האפור יכול להיחשב כבלתי נראה.
אפילו כאשר האובייקט קטן/גדל, מסתובב, פוסע וכו', הוא עדיין בעל הרכב רמות אפור דומה וניתן לזהותו.

23. מיצוע אקספוננציאלי רגיל לעומת מיצוע אקספוננציאלי כפול
זו דוגמא ספציפית, המובאת בהקשר לרקע המתמטי של השיפורים שלנו.

24. מרחק ממוצע לעומת סטיית תקן
כשסטיית התקן קטנה עדיף המיצוע האקספוננציאלי הכפול.
כשסטית התקן גדולה עדיף המיצוע הרגיל.
נראה בהמשך כיצד זה משתלב במערכת שלנו.

25. שיפורי המערכת לאלגוריתם הרגיל
שימוש בהיסטורית היסטוגרמת העצם.
שימוש במהירות העצם הנע.

26. היסטורית היסטוגרמת העצם
נסתמך על היסטורית ההיסטוגרמות ולא על ההיסטוגרמה עצמה.
נבצע על ההיסטוגרמה מיצוע אקספוננציאלי רגיל כי ברצוננו לשמור על אופי ההיסטוגרמה באופן מתון.
יתרונות:
עוזר במקרים של השתנות הרכב גווני האובייקט.
עוזר במקרים שישנן הסתרות חלקיות/מלאות של העצם הנע.
כל היתרונות הקיימים בהיסטוגרמה.
קל למימוש איטרטיבי ולא כבד במשאבים.

27. שימוש במהירות העצם הנע
נבצע על מיקום האוביקט מיצוע אקספוננציאלי כפול מכיוון שאנו מניחים שהתנועה תהיה בעלת סטיות קטנות עם מגמתיות די ברורה של המיקום.
מתחילים איטרציות Mean-Shift מהמיקום המשוער.
יתרונות:
זיהוי נכון ומהיר יותר באיטרציות Mean-Shift.
"מקדימים תרופה למכה" במקרה של מקסימום מקומי אחר קרוב למקסימום המתאים לדמות.
קל למימוש איטרטיבי ולא כבד במשאבים.

28. תפקוד המערכת נציג מספר סרטים שהרצנו על מערכות שונות:
מערכת מעקב המבוססת על שיטת הקורלציה.
מערכת מעקב המבוססת על Mean-Shift ללא שיפורי המערכת שלנו.
מערכת מעקב המבוססת על Mean-Shift עם שיפורי המערכת שלנו.

29. מערכת התאמת קורלציה

30. מערכת Mean-Shift ללא שיפורים

31. מערכת Mean-Shift עם שיפורים

32. סיכום
שיטת הקורלציה לבדה אינה מסוגלת להתמודד עם מספר גופים "דומים" קרובים והסתרות.
עקיבת ווידאו באמצעות אלגוריתם MeanShift בלבד מניבה תוצאות לא טובות ביחס לשיטת הקורלציה.
ניתן לשפר את אלגוריתם Mean-Shift הרגיל עם תוספים, המשפרים את ביצועי המערכת לאין ארוך.
אלגוריתם Mean-Shift צורך פחות משאבים, ומתאים יותר לעבודה בזמן אמת.

33. תודות
תודה רבה למר אריה נחמני מנחה הפרויקט ולצוות המעבדה קובי קוחי ואורלי וויגדרסון.

34. שאלות ? 