עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift הטכניון - מכון טכנולוגי לישראל TECHNION - ISRAEL INSTITUTE OF TECHNOLOGY הפקולטה להנדסת חשמל המעבדה לבקרה ורובוטיקה עקיבה אחר מטרה באמצעות אלגוריתם Mean-Shift מגישים: ספי פרידמן אייל אפרת מנחה : מר אריה נחמני

תוכן עניינים מוטיבציה מטרות הפרויקט דרכי הפתרון תיאור המערכת שיפורי מערכת תפקוד המערכת סיכום ומסקנות

מוטיבציה מטרה: עקיבה אחר עצמים בסרטים. מהן הבעיות המתעוררות בעקיבה בווידאו? ראות לקויה עצם דומה לעצם שאחריו עוקבים הסתרה רגעית של העצם שינוי הגוון זמן עיבוד פתרון: דרוש אלגוריתם יעיל ופשוט שבאמצעותו יהיה אפשר לעקוב אחר עצמים נעים, שיוכל להתגבר על המכשולים.

מטרות הפרויקט עקיבה אחר עצם נע המבוססת על אלגוריתם Mean-Shift התגברות על חלק מהבעיות המתעוררות בעקיבה בווידאו השוואה בין מערכת העקיבה שלנו למערכת עקיבה המבוססת על שיטת הקורלציה

נדון בשתי דרכי פתרון לבעיית העקיבה: קורלציה Mean-Shift דרכי הפתרון נדון בשתי דרכי פתרון לבעיית העקיבה: קורלציה Mean-Shift

שיטת הקורלציה בשיטה זו עוקבים אחר העצם הנע ע"י השוואת תמונת ייחוס לאזורים שונים בחלון החיפוש. האיזור הנבדק חלון החיפוש תמונת הייחוס נבדוק את האזורים השונים באזור החיפוש ונבדוק את מקדם קורלציה, והעצם הנע ימצא היכן שהקורלציה היא הגבוהה ביותר.

מקדם המתאם של פירסון קרוס קורלציה מנורמלת (NCC) ערכי המדד ינועו בין 1- ל 1+ כאשר ערכים קרובים ל 1+ יבטאו קשר חיובי חזק בין המשתנים. נוסחת המתאם : סטיית התקן: תוחלת:

Mean-Shift Mean-Shift - שינוי התוחלת, לפיו מחשבים את המיקום החדש של האובייקט. תוחלת של מה? בפרויקט זה - הסתברות שיוך רמות אפור לדמות כל מדד הסתברותי אחר הפעלת אלגוריתם gradient ascent.

הדגמת עקיבה בסרט באמצעות Mean-Shift

יישום Mean-Shift בפרויקט זה המידע ההסתברותי המשמש לתוחלת הוא היסטוגרמת רמות אפור בסרט. מידת אפור בהיסטוגרמת הפריים מותאמת למידת הסתברות לפי היסטוגרמת האובייקט. גוון הסתברות 255 0.02 0.21 הסתברות סכום = 1 גוון 255

יישום Mean-Shift בפרויקט זה כל פיקסל באזור הסריקה מקבל מידת התאמה לדמות לפי מידת ההסתברות. מידות הסתברות בין 0 ל-1 פיקסלים של הפריים בהתאם לגוון בפיקסל היעד 0.05 0.1 0.21 0.04 0.17 גוון הסתברות 255 0.02 0.21

הדגמה Region of interest Center of mass Mean Shift vector

הדגמה Region of interest Center of mass Mean Shift vector

הדגמה Region of interest Center of mass Mean Shift vector

הדגמה Region of interest Center of mass Mean Shift vector

הדגמה Region of interest Center of mass Mean Shift vector

הדגמה Region of interest Center of mass Mean Shift vector

הדגמה Region of interest Center of mass

יישום Mean-Shift בפרויקט זה מידות הסתברות בין 0 ל-1 פיקסלים של הפריים 0.21 0.1 0.05 0.21 0.17 0.04 0.17 0.1 0.1 מציאת מרכז כובד

תיאור סכמתי של המערכת איתחול Mean-Shift יצירת היסטגרמות ראשוניות מתאימות סימון הדמות הצגת הפריים הראשון העלאת הסרט מעבר פריים יצירת היסטוגרמות חדשות Mean-Shift מעבר למיקום המשוערך החדש עדכון ההיסטגרמות עדיף לעבור עדיף לעבור עדיף לעבור עדיף להישאר עדיף להישאר עדיף להישאר סימון ומעבר למיקום המשוערך החדש

בין השורות מההיסטוגרמה מורידים את השפעות הרקע הקרוב לדמות, לפי היסטוגרמת הרקע. ההיסטוגרמה מתעדכנת בין הפריימים. מידת ההסתברות המופקת עוברת החלקה גרעינית: בשיטה זו ערך הפונקציה בכל נקודה נמדד בהשפעה יחסית לסביבה הקרובה, כאשר ישנה דעיכה של השפעת נקודות רחוקות יותר.

למה דווקא היסטוגרמה? יתרונות: מציאת האובייקט ללא קשר ישיר לצורה. קל למצוא מידת הסתברות מגוונת (לא בינארית). קל למימוש באופן דיסקרטי על מחשב. חסרונות: אובייקטים דומים מבחינת הרכב רמות אפור, ושונים לחלוטין בצורה, יכולים לבלבל את העקיבה. אובייקט המצוי בסביבה דומה לו מבחינת הרכב רמות האפור יכול להיחשב כבלתי נראה. אפילו כאשר האובייקט קטן/גדל, מסתובב, פוסע וכו', הוא עדיין בעל הרכב רמות אפור דומה וניתן לזהותו.

מיצוע אקספוננציאלי רגיל לעומת מיצוע אקספוננציאלי כפול זו דוגמא ספציפית, המובאת בהקשר לרקע המתמטי של השיפורים שלנו.

מרחק ממוצע לעומת סטיית תקן כשסטיית התקן קטנה עדיף המיצוע האקספוננציאלי הכפול. כשסטית התקן גדולה עדיף המיצוע הרגיל. נראה בהמשך כיצד זה משתלב במערכת שלנו.

שיפורי המערכת לאלגוריתם הרגיל שימוש בהיסטורית היסטוגרמת העצם. שימוש במהירות העצם הנע.

היסטורית היסטוגרמת העצם נסתמך על היסטורית ההיסטוגרמות ולא על ההיסטוגרמה עצמה. נבצע על ההיסטוגרמה מיצוע אקספוננציאלי רגיל כי ברצוננו לשמור על אופי ההיסטוגרמה באופן מתון. יתרונות: עוזר במקרים של השתנות הרכב גווני האובייקט. עוזר במקרים שישנן הסתרות חלקיות/מלאות של העצם הנע. כל היתרונות הקיימים בהיסטוגרמה. קל למימוש איטרטיבי ולא כבד במשאבים.

שימוש במהירות העצם הנע נבצע על מיקום האוביקט מיצוע אקספוננציאלי כפול מכיוון שאנו מניחים שהתנועה תהיה בעלת סטיות קטנות עם מגמתיות די ברורה של המיקום. מתחילים איטרציות Mean-Shift מהמיקום המשוער. יתרונות: זיהוי נכון ומהיר יותר באיטרציות Mean-Shift. "מקדימים תרופה למכה" במקרה של מקסימום מקומי אחר קרוב למקסימום המתאים לדמות. קל למימוש איטרטיבי ולא כבד במשאבים.

תפקוד המערכת נציג מספר סרטים שהרצנו על מערכות שונות: מערכת מעקב המבוססת על שיטת הקורלציה. מערכת מעקב המבוססת על Mean-Shift ללא שיפורי המערכת שלנו. מערכת מעקב המבוססת על Mean-Shift עם שיפורי המערכת שלנו.

מערכת התאמת קורלציה

מערכת Mean-Shift ללא שיפורים

מערכת Mean-Shift עם שיפורים

סיכום שיטת הקורלציה לבדה אינה מסוגלת להתמודד עם מספר גופים "דומים" קרובים והסתרות. עקיבת ווידאו באמצעות אלגוריתם MeanShift בלבד מניבה תוצאות לא טובות ביחס לשיטת הקורלציה. ניתן לשפר את אלגוריתם Mean-Shift הרגיל עם תוספים, המשפרים את ביצועי המערכת לאין ארוך. אלגוריתם Mean-Shift צורך פחות משאבים, ומתאים יותר לעבודה בזמן אמת.

תודות תודה רבה למר אריה נחמני מנחה הפרויקט ולצוות המעבדה קובי קוחי ואורלי וויגדרסון.

שאלות ? 