1 עקיבה אחר מטרה בשיטת קורלציה בשילוב אלגוריתם IMM מגישים: קיריצ'נקו אלכס שישלניקוב דניס מנחה: דר' גבי דוידוב הטכניון - מכון טכנולוגי לישראל TECHNION - ISRAEL INSTITUTE OF TECHNOLOGY הפקולטה להנדסת חשמל המעבדה לבקרה ורובוטיקה

2 נושאי ההצגה תיאור הנושא. שלבי הפרויקט. רקע תיאורטי. מבנה מערכת עקיבה. אלגוריתם IMM. השוואת תוצאות. סיכום

3 תיאור הפרויקט בעיית הפרויקט: ביצוע עקיבה אחר מטרה נעה שיכולה להיות מוסתרת לפרק זמן מסוים ו/או שלנות צורתה. ביצוע עקיבה אחר מטרה נעה שיכולה להיות מוסתרת לפרק זמן מסוים ו/או שלנות צורתה. דרכים אפשריות לפתרון: * שיטת קורלציה * שיטת קורלציה * שיטת מרכז כובד * שיטת מרכז כובד * גילוי תנועה ע"י הפרשים * גילוי תנועה ע"י הפרשים

4 שלבי הפרויקט קביעת מאפיינים של המטרה. עקיבה אחר מטרה נעה בשיטת קורלאציה. עקיבה אחר מטרה במקרים בהם המטרה מוסתרת – שערוך מיקום המטרה. שיפור ביצועים של המערכת ע"י שימוש באלגוריתם ה-IMM והשוואת תוצאות.

5 סימונים ומונחים 1.reference image (תמונת יחוס) היא תמונה שמחפשים אותה בכל פריים חדש. 2.נקודת חיפוש – נקודה במסגרת הנוכחית ממנה נלקחת תמונה להשוואה עם תמונת יחוס. 3.חלון חיפוש (שדה חיפוש) – אוסף כל נקודות חיפוש.

6 רקע תיאורטי 1.שיטת קורלציה: מקדם קורלציה בין שני תמונות בגודל מחושב על פי נוסחא הבאה: - רמת אפור של פיקסל i. - רמת אפור של פיקסל i. - ערך הממוצע. - ערך הממוצע. מקדם  מראה עד כמה תמונות דומות זו לזו. בתהליך עקיבה עוברים מפריים לפריים כאשר תמונת רפרנס (תמונת מטרה) מוחזקת לשם חיפוש תמונה דומה בכל אחד מן הפריימים. בכל פריים חדש נלקחות כמה תמונות (זהות במימדיהן לתמונת רפרנס) סביב נקודה שבה המטרה עשויה להימצא, ומתוכן נבחרת תמונה בעלת מקדם קורלציה מקסימאלי. מרכז תמונה חדשה מהווה מיקום חדש של מטרה.

7 רקע תיאורטי 2.מסנן קלמן: מסנן קלמן מהווה סט של משוואות מתמטיות המיישמות משערך אופטימאלי במובן Minimized Square Error. טבלה המסכמת את כל הפרמטרים:

8 רקע תיאורטי 3. אלגוריתם ה IMM (Interactive Multiple Model) סינון קלמן מתבצע לפי מודל מסוים של מערכת אמיתית. ניתן לשפר איכות של שערוך (סינון) ע"י הרצת N מסננים עם מודלים שונים של מערכת במקביל. גישה זאת נקראת Multiple Model. אלגוריתם (Interacting Multiple Model) IMM הוא קונפיגורציה של אלגוריתם MM כאשר קיימת אינטראקציה בין מודלים שונים של אלגוריתם MM. אלגוריתם נותן משקלים (הסתברות למודל מסוים להופיע) לכל אחד משערוכים שמתקבלים ממודלים שונים ולאחר מכך הוא בונה שערוך סופי שמתבסס על כל אחד מ-N שערוכים שהוא קיבל. בחירת משקלים מתבצעת לפי מטריצות הקווריאנס של שגיאת השערוך ביחס הפוך. כלומר, כאשר שגיאת השערוך גדולה (ערכים במטריצה גדולים יחסית) יותר משגיאות של שערוכים אחרים השערוך של מודל הנתון מקבל משקל נמוך יותר.לאחר קבלת המשקלים האלגוריתם מבצע שקלול ע"י כפל של שערוכים במשקל המתאים חיבור של תוצאות הכפל. כך מתקבל שערוך מדויק ביותר שניתן לקבל ממדידות שנעשו. אלגוריתם (Interacting Multiple Model) IMM הוא קונפיגורציה של אלגוריתם MM כאשר קיימת אינטראקציה בין מודלים שונים של אלגוריתם MM. אלגוריתם נותן משקלים (הסתברות למודל מסוים להופיע) לכל אחד משערוכים שמתקבלים ממודלים שונים ולאחר מכך הוא בונה שערוך סופי שמתבסס על כל אחד מ-N שערוכים שהוא קיבל. בחירת משקלים מתבצעת לפי מטריצות הקווריאנס של שגיאת השערוך ביחס הפוך. כלומר, כאשר שגיאת השערוך גדולה (ערכים במטריצה גדולים יחסית) יותר משגיאות של שערוכים אחרים השערוך של מודל הנתון מקבל משקל נמוך יותר.לאחר קבלת המשקלים האלגוריתם מבצע שקלול ע"י כפל של שערוכים במשקל המתאים חיבור של תוצאות הכפל. כך מתקבל שערוך מדויק ביותר שניתן לקבל ממדידות שנעשו.

9 מבנה מערכת העקיבה Prediction Flag =0Prediction Flag =1

10 מבנה מערכת העקיבה Correlation Function Block במקרה שהמטרה לא מוסתרת עובדים אלגוריתמים הבאים: חיפוש מיקום חדש של המטרה ע"י מנגנון קורלציה מנגנון המחפש הסתרות מנגנון העוקב אחר שינוי צורה של המטרה במקרה שהמטרה מוסתרת מופעל אלגוריתם המגלה מיקום של המטרה ביציאה מהסתרה.

11 מבנה מערכת העקיבה Correlation Function Block חיפוש מיקום חדש של המטרה ע"י מנגנון קורלציה תמונת יחוס

12 1.שיטת קורלציה: קיימות מספר וריאציות של שיטת קורלציה: השיטה הטבעית ביותר זה לבצע השוואה בין תמונות משני פריימים סמוכים. כלומר תמונה שמחפשים אותה מתעדכנת בכל איטרציה – תמונת יחוס מתחדשת בכל פריים. חיסרון העיקרי של שיטה זאת היא השגיאה הגדולה עכב שינוי צורה של מטרה שמצטברת לאורך כל הסרט. כלומר המטרה (תמונת יחוס) משתנה בקצב גבוה ולכן כמות אינפורמציה נכונה על מטרה יורדת. הדבר בולט במיוחד כאשר מטרה משנה את צורתה עקב הסתרות קטנות. השיטה הטבעית ביותר זה לבצע השוואה בין תמונות משני פריימים סמוכים. כלומר תמונה שמחפשים אותה מתעדכנת בכל איטרציה – תמונת יחוס מתחדשת בכל פריים. חיסרון העיקרי של שיטה זאת היא השגיאה הגדולה עכב שינוי צורה של מטרה שמצטברת לאורך כל הסרט. כלומר המטרה (תמונת יחוס) משתנה בקצב גבוה ולכן כמות אינפורמציה נכונה על מטרה יורדת. הדבר בולט במיוחד כאשר מטרה משנה את צורתה עקב הסתרות קטנות. קיימת שיטה אחרת – לקחת את תמונה ראשונה של מטרה בתור תמונת יחוס ולחפש אותה בתוך כל פריים. חיסרון של שיטה זאת בזה שהיא עובדת עד שצורתה של מטרה קבועה פחות או יותר. אחרת יש סיכוי גדול לאבד את מטרה כי אלגוריתם לא מקבל אינפורמציה על מה שמתרחש במערכת. יתרון של שיטה זאת הוא שניתן להתגבר על רעשים (קטנים או גדולים) חולפים בהנחה שמטרה לא שינתה את צורתה בזמן ההפרעה. קיימת שיטה אחרת – לקחת את תמונה ראשונה של מטרה בתור תמונת יחוס ולחפש אותה בתוך כל פריים. חיסרון של שיטה זאת בזה שהיא עובדת עד שצורתה של מטרה קבועה פחות או יותר. אחרת יש סיכוי גדול לאבד את מטרה כי אלגוריתם לא מקבל אינפורמציה על מה שמתרחש במערכת. יתרון של שיטה זאת הוא שניתן להתגבר על רעשים (קטנים או גדולים) חולפים בהנחה שמטרה לא שינתה את צורתה בזמן ההפרעה. אחרי שינוי צורה צורה משתנה לפני שינוי צורה אחרי שינוי צורה צורה משתנה לפני שינוי צורה מבנה מערכת העקיבה

13 מבנה מערכת העקיבה Correlation Function Block מנגנון המבצע גילוי הסתרות: השיטה המקובלת לגילוי הסתרות היא לחלק את חלון החיפוש לארבעה חלונות יותר קטנים באופן הבא: על מנת לזהות הסתרה מתבצע חישוב קורלציה עבור כל חלק בנפרד (עבור תמונת יחוס ותמונה הדומה ביתר שהתקבלה בפריים חדש). אם קורלציה לפחות של חלק אחד נפגעה משמעותית אז גילינו הסתרה, זאת אומרת שהמדידות המתקבלות ממנגנון קורלציה הן שגויות ולא ניתן לעדכן את ווקטור המצב ע"י מדידות אלו.

14 מבנה מערכת העקיבה Correlation Function Block מנגנון העוקב אחר שינוי צורה של המטרה: הנושא אחר שקשור לעקיבה בשיטת קורלציה הוא שינוי צורה של המטרה. כאשר המטרה מסתובבת ב או כאשר מימדיה של מטרה גדלים עקב zoom שיוצרת מצלמה מקבלים שינוי די גדול בתמונת יחוס. במקרים כאלו כל השיטות המתארות עד עכשיו נותנות תוצאות לא מספיק מדויקות. לדוגמא: מתמונה הבאה ניתן לראות שאחרי סיבוב חלון עקיבה מוזז (לא ממורכז על המטרה) וגם גדול מדי. פתרון: לאלגוריתם העקיבה נוסף משתנה shape image שבתוכו נשמרת תמונת יחוס הראשונה של המטרה שהתקבלה מרכישה של מטרה בפריים ראשון. כל 10 פריימים נערכת בדיקה האם קורלציה בין reference image לבין shape image נפגעה. במקרה שהקורלציה נפגעה, מתבצע אלגוריתם רכישת תמונה, כלומר מתבצע חישוב מחדש של מרכז המטרה וגדלים שלה.

15 מבנה מערכת העקיבה Correlation Function Block אלגוריתם רכישת תמונה: אבל אלגוריתם התואר לעיל נכשל אם בפריים ראשון ליד המטרה קיימים הפרעות שחורות גדולות.במקרה זה ספיראלה תתפוס בתוכה גם את הפרעות אלו שיביא בסופו של דבר לקבלת תמונת מטרה לא נכונה.

16 מבנה מערכת העקיבה Correlation Function Block אלגוריתם המגלה מיקום של המטרה ביציאה מהסתרה: פונקצית חיפוש בשיטת קורלציה שתחפש את מטרה סביב נקודת מרכז משעורך ממדידות שהתקבלות ממנגנון החיזוי. אבל עכשיו,לעומת מצב בו רואים מטרה בפירוש, נערכים חיפוש בנקודות במרחקים יותר גדולים. מרחק כזה יכול להיות כי חצי ממימד המקסימאלי של מטרה. וגם חיפוש זה מתבצע עם דרישות נמוכות יותר למקדם קורלציה. לאחר שאלגוריתם מוצא משהוא דומה למטרה אז באותו הרגע נערך חיפוש נוסף עם דרישה למקדם הקורלציה יותר גבוהה. ואם חיפוש זה מצליח אזי המטרה נמצאה בפירוש ולכן אפשר להגיד שהיא יצאה מאזור המוסתר.

17 מבנה מערכת העקיבה Correlation Function Block

18 מבנה מערכת העקיבה Filtering Block בלוק זה מקבל מדידות או ממנגנון קורלציה או ממנגנון חיזוי. מבצע סינון רעשים ושערוך וקטור מצב או בעזרת מסנן קלמן או בעזרת אלגוריתם IMM. דוגמא: סינון קלמן של אות סינוסי מורעש ע"י רעש לבן עם סטיית תקן 6. קו כחול - סינון עם מודל מסדר 3 קו ירוק – אות מורעש קו שחור - אות ללא רעש

19 מבנה מערכת העקיבה Filtering Block אלגוריתם IMM המבוסס על שני מודלים תנועה נותנת ביצועים יותר טובים אפילו במקרים כאשר סינון קלמן עבור מודל בנפרד נכשל. דוגמא לכך: קו כחול הוא מודל מסדר 3 קו אדום הוא שערוך של IMM קו שחור הוא סיגנל ללא רעש קו ירוק הוא אות מורעש עם סטיית תקן 6.

20 השוואת ביצועים Filtering Block נבדקו מספר סרטים סינטטיים של תנועה סינוסית של מטרה. עבור כל אחת מאמפליטודות התנועה התקבלו שגיאות הבאות:

21 דוגמאות הרצה של אלגוריתם EXAMPLE 1 (IR movie) EXAMPLE 2 (IR movie) EXAMPLE 3 (Regular Movie)

22 הצעות לשיפור 1.טיפול בתנאיי הגבול 2.הסתגלות המערכת 3.שדה חיפוש משתנה כתלות בכיוון התנועה ומהירות 4.אופטימיזציה מבחינת החישובים 5.טיפול נוסף בהסתרות רחבות 6.שיפור אלגוריתמי קורלציה (חילוק תמונת יחוס וכדומה) 7.בעיית zoom