1. מגישים: עמיר ניצני דורון זטלמן מנחה: דר' גבי דוידוב
הטכניון - מכון טכנולוגי לישראל TECHNION - ISRAEL INSTITUTE OF TECHNOLOGY הפקולטה להנדסת חשמל המעבדה לבקרה ורובוטיקה
עקיבה אחר שלוש מטרות בשילוב אלגוריתם ,IMM קלמן פילטר, מרכז כובד וקורלציה.
Gvkjhlk
מגישים:
עמיר ניצני
דורון זטלמן
מנחה:
דר' גבי דוידוב

2. נושאים לדיון מטרות הפרויקט. רקע תיאורטי. ניתוח מקדים. מימוש המערכת.
ניסויים ומסקנות.
סיכום.

3. מטרות הפרויקט
עקיבה אחר מטרה המתמודדת עם מצבי הסתרה, מצבי חצייה בתמרונים שונים.
הרחבה למקרה של שלוש מטרות מתמרנות.
שיפור יכולת העקיבה של המערכת על בסיס האלגוריתמים הקיימים.
הרחבה למספר מטרות לא מוגבל.

4. רקע תיאורטי מרכז כובד. קורלציה. בינאריזציה. מסנני עיבוד תמונה.
קלמן פילטר.
IMM.
שימוש בשלושה מודלי תנועה.

5. רקע תיאורטי מרכז כובד: מרכז כובד של גוף מחושב ע"י הנוסחה הבאה :
כאשר, N הוא מס' הפיקסלים במטרה, I הם ערכי הפיקסלים.
על מנת לאפיין בצורה איכותית את מרכז הכובד של המטרה יש לבצע את החישוב על תמונה בינארית של המטרה, כלומר כאשר המטרה שחורה והרקע לבן.

6. רקע תיאורטי שיטת קורלציה:
מקדם קורלציה בין שני תמונות בגודל מחושב על פי הנוסחה הבאה:
- רמת אפור של פיקסל i.
- ערך הממוצע.
- זמן.

7. רקע תיאורטי- קורלציה
מקדם  מקבל ערכים בין 1- ל-1 ומראה עד כמה תמונות דומות זו לזו.
בתהליך עקיבה עוברים מפריים לפריים כאשר תמונת רפרנס (תמונת מטרה) מוחזקת לשם חיפוש תמונה דומה בכל אחד מן הפריימים.
בכל פריים חדש נלקחות כמה תמונות (זהות במימדיהן לתמונת רפרנס) סביב נקודה שבה המטרה עשויה להימצא, ומתוכן נבחרת תמונה בעלת מקדם קורלציה מקסימאלי. מרכז תמונה חדשה מהווה מיקום חדש של מטרה.

8. רקע תיאורטי- יצירת תמונה בינארית
תמונה בינארית נקבעת ע"י סף המבדיל בין פיקסלים שחורים ללבנים.
אנו השתמשנו בפונקציית ה-graythresh
וה-im2bw לשם הבינאריזציה.

9. מסנני עיבוד תמונה-מסנן חציון
מסנן החציון מחליף את ערכו של כל פיקסל בתמונה , בערך החציון
של שכניו.
אם בסביבתו של הפיקסל ישנו פיקסל בעל ערך השונה משמעותית
מערכיהם של שאר הפיקסלים, ערך זה (שבדרך כלל נובע
מרעש),לא ישפיע על ערכו של הפיקסל המוחלף.
מכיוון שערכו של הפיקסל המוחלף הוא אחד מערכי הפיקסלים
בסביבתו, הרי שמסנן חציון איננו יוצר ערך חדש, שלא שייך לתמונה, כאשר המסנן מופעל על קצוות חדים.
קישור לדוגמא לפעולת המדיאן

10. רקע תיאורטי מסנן קלמן מסנן קלמן פותח בשנת 1960 ע"י רודולף קלמן.
מסנן זה הוא סט של משוואות מתמטיות המיישמות
משערך אופטימאלי במובן של מזעור שונות השגיאה.
המסנן פועל בשני שלבים:
א. חיזוי ווקטור המצב לפי מודל התנועה הנתון.
ב. עדכון השערוך בעזרת שגיאת המדידה .
המדידה נעשית בשיטות של עיבוד תמונה (מרכז כובד או קורלציה).
פעולת המסנן הינה מחזורית.

11. רקע תיאורטי-מסנן קלמן ( המשך )
פרמטרי המסנן העיקריים:
Q : מטריצת שונות רעש המערכת. פרמטר זה מאפיין את שונות תנועת הגוף במימדי ווקטור המצב ומאפשר גמישות למערכת.
R : מטריצת שונות רעש המדידה. פרמטר זה מאפיין את טיב המדידה שהתקבלה, האם על המסנן לתת משקל רב למדידה.
מסנן קלמן הוא נושא מוכר היטב ולכן אין טעם בהצגת המשוואות המתמטיות.

12. רקע תיאורטי אלגוריתם ה IMM (Interactive Multiple Model)
מטרת האלגוריתם היא לשפר את שערוך מיקום המטרה
ע"י שילוב בין מספר פילטרים (קלמן במקרה שלנו) בעלי
מודלים שונים, כאשר קיימת אינטראקציה בין המודלים
השונים ע"י שיקלולם.
המודלים בעלי ההסתברות הגבוהה יותר לנכונות מקבלים
משקל גדול יותר בשקלול.

13. רקע תיאורטי - IMM
צעדי האלגוריתם
חישוב הסתברויות הערבול:
שלב הערבול:

14. רקע תיאורטי - IMM 3. התאמת מודל-מצב: 4. עדכון הסתברות המצב:
5. שקלול וקטור המצב והקוואריאנס:

15. שימוש בשלושה מודלי תנועה
בפרויקט היה שימוש בשלושה מודלים :
א. מודל מסדר שני : מהירות קבועה.
מטריצת המודל ( חד מימד ) :
ב. מודל מסדר שלישי : תאוצה קבועה.

16. שימוש בשלושה מודלי תנועה
ג. מודל תנועת סינוס
מטריצת המודל ( חד מימד ) :
- תדר מטריצת התנועה.
עבור כל מודל קיימת מטריצת Q
שונה מחושבת לפי נוסחה.

17. ניתוח מקדים – נקודות חולשה במערכת
המערכת מתמודדת עם מספר קשיים שהעיקריים הם:
1. אתחול המערכת-
מציאת תמונת רפרנס.
פרמטרים למכונת מצבים.
אתחול וקטור המצב של המטרה.
2. עקיבה במצבי הסתרה וחציה .

18. נקודות חולשה במערכת - פירוט
האתחול הוא קריטי, זהו הבסיס לעבודתה התקינה של המערכת, זו תלויה בקביעת הפרמטרים הראשונים של מכונת המצבים ובמציאת תמונת רפרנס איכותית.
דוגמאות לבעייתיות באתחול:
במקרה של כניסה מהירה למצב הסתרה\חצייה כאשר וקטור המצב לא מספיק להתכנס עדיין.
במקרה של יציאה מהסתרה\חצייה נשתמש בתמונת הרפרנס לקורלציה עם התמונה הנוכחית לצורך איתור מחודש של המטרה.
כדי להתמודד עם בעיות אלו נניח ראשית שבמספר הפריימים הראשונים אין הפרעות מסוג של חציות\הסתרות.
כמו כן נשתמש בגלאי תנועה וטכניקות של חיסור פריימים עוקבים כדי לנעול את המטרה אחרי סימונה.
קישור לדוגמא על בעיתיות האיתחול:

19. נקודות חולשה במערכת - פירוט
ולכן גיבשנו קווים מנחים לעבודה:
שיפור בדיוק האתחול.
צמצום זמן החזאי.
שיפור בדיוק החזאי.
החזאי הוא בבירור נקודת חולשה במערכת, הוא מורכב למעשה משקלול של משוואות מצב שמבוססות על תנאי התחלה לחזאי שנאספו בזמן פעולת המשערך ומלמידת התנועה.
מן הסתם הוא ללא משוב ולכן לא מסוגל לתקן עצמו.
עלינו אם כך לקצר כמה שיותר את זמן פעולת החזאי ויחד עם זאת לוודא שקיצור זמן זה לא יגרום להצטברות שגיאה בוקטור המצב בשל מדידות שגויות.
את אופן הפעולה שנקטנו נציג בשלב מאוחר יותר.
דוגמא למצב בו החזאי נתקל בקושי במצב הסתרה

20. הנחות העבודה תקפות כל עוד לא צוין אחרת
הנחות עבודה
התמונה היא כמו תרמית, משמע, המטרה חמה-לבנה הרקע קר - כהה.
הסתרות – עד סדר גודל של פי 2 ממידות המטרה.
אתחול – אין הפרעות בעת אתחול פרמטרי העקיבה (מלבד כמובן רעש המדידה).

21. מימוש האלגוריתמים במערכת
IMM:
3 מודלי תנועה: מהירות קבועה,תאוצה קבועה ו SIN.
הפרדת צירים ע"י 2 מרכזי שליטה של IMM.
קלמן פילטר:
R משתנה ו Q קבוע מחושב לפי נוסחה התלויה במודל תנועה ובגודל תנועה אופייני.
מדידות:
מרכז מסה מחושב על תמונה בינארית.
קורלציה מחושבת על תמונת רמות אפור עם רקע בהיר או כהה.
עיבוד תמונה- בבדיקת המצב ובמדידת מרכז מסה:
דגימת חלון סביב מ"מ קודם.
מדיאן שורה וקטורי.
בינאריזציה.
סינון שטחים קטנים מ-% 30 משטח ממוצע.
מציאת אובייקט הקרוב ביותר למ"מ קודם.

22. תיאור המערכת
אתחול:
נעילת מטרה ע"י גילוי תנועה ב-5 פריימים ראשונים: חישוב סף בינאריזציה, אורכי צירים, מרכז מסה לכל פריים.
2. הגדרת סוגי חלונות שונים עבור מצבים שונים\שיטות עקיבה שונות: מרכז מסה, קורלציה, חזאי.
3. חישוב מהירות + תאוצה בעזרת מרכזי המסה שנמצאו בשלב 1, בנוסף פרמטרים לחישוב Q עבור כל המודלים.
4. אתחול פרמטרים למכונת מצבים ע"י מיצוע על 5 פריימים + מטרת רפרנס לקורלציה.
5. אתחול מודלי התנועה עבור כל מטרה, כולל: מטריצות משוואות המצב F,H, חישוב מטריצת רעש המדידה R ושל קובריאנס השגיאה P ואתחול של Q מטריצת קובריאנס רעש המערכת, המוגדרים לכל ציר .
6. בניית 2 מרכזי שליטה של IMM, אחד לכל ציר: מטריצת מרקוב והסתברויות ראשוניות.
7. אתחול פרמטרים של ריצה.

23. הגדרת קריטריוני המעבר בין המצבים בדיאגרמה
אנו עושים שימוש בחמישה קריטריוני מעבר, מנורמלים לערך הממוצע המאותחל בנעילת המטרה, בין המצבים:
שטח – שטח המטרה בפיקסלים.
שטח האיזור הקמור (convex area) כפי שמתקבל מפונקציות ה- bwlabel ו-regionprops.
סכום הצירים כפי שמתקבל מפונקציות ה- bwlabel ו-regionprops.
אורך ציר ה-X של המטרה.
אורך ציר ה-Y של המטרה.
אנו משתמשים בקורלציה כתנאי מעבר נוסף.

24. קריטריוני המעבר -דוגמא

25. דיאגראמת המצבים ENTER_HIDING ENTER_CROSSING FULL_HIDING COM_TRACKING
FULL_CROSSING
EXIT_HIDING
EXIT_CROSSING

26. דיאגרמת המצבים-תנאי מעבר
אם אחד מהקריטריונים קטן מ-0.8
ENTER_HIDINGעוברים ל-
ומעדכנים את תמונת הרפרנס.
בחזרה:אם כל הקריטריונים גדולים מ-0.8
וגם הקורלציה גדולה מ-0.6.
דיאגרמת המצבים-תנאי מעבר
אם אחד מהקריטריונים
קטן מ-0.5 עוברים ומעדכנים תמונת רפרנס.
ENTER_HIDING
אם הקורלציה קטנה מ-0.7 וגם כל הקריטריונים קטנים מ-0.5
או ש- הקורלציה קטנה מ-0.5 עוברים ל- FULL_HIDING .
FULL_HIDING
COM_TRACKING
אם הקורלציה גדולה מ-0.7 וגם כל הקריטריונים גדולים מ-0.8
עוברים ל-COM_TRACKNIG .
בנוסף נעדכן את הקריטריונים.
אם כל הקריטריונים גדולים מ-0.5
וגם הקורלציה גדולה מ-0.5 או שהקורלציה גדולה מ-0.7 עוברים
ל-EXIT_HIDING.
בחזרה:אם אחד מהקריטריונים קטן
מ-0.5 וגם הקורלציה קטנה מ-0.7 או שהקורלציה קטנה מ-0.5.
EXIT_HIDING

27. דיאגרמת המצבים-תנאי מעבר
כמובן שעבור כל תנאי שלא נכלל ברשימת תנאי המעבר שהצגנו, המצב הנוכחי יישמר.
אם אחד מהקריטריונים גדול מ-1.2
עוברים ל-ENTER_CROSSING
ומעדכנים את תמונת הרפרנס.
בחזרה:אם כל הקריטריונים קטנים מ-1.2
וגם הקורלציה גדולה מ-0.7.
דיאגרמת המצבים-תנאי מעבר
ENTER_CROSSING
אם הקורלציה קטנה מ-0.7 עוברים ל- FULL_CROSSING .
COM_TRACKING
FULL_CROSSING
אם כל הקריטריונים קטנים מ-1.2
וגם הקורלציה גדולה מ-0.7 עוברים
ל-COM_TRACKNIG .
בנוסף נעדכן את הקריטריונים.
אם כל הקריטריונים קטנים מ-1.5
והקורלציה גדולה מ-0.7 או הקורלציה גדולה מ-0.8 עוברים
ל-EXIT_CROSSING.
בחזרה:אם הקורלציה קטנה מ-0.7.
EXIT_CROSSING

28. תיאור המערכת – שלב הריצה
טעינת פריים חדש.
בדיקת המצב:
חילוץ נתונים על המטרה(שטח, צירים)- דגימת חלון -> מדיאן שורה -> בינאריזציה -> סינון שטחים קטנים פחות מ 0.3 -> השארת האובייקט הקרוב למ"מ קודם.(קישור)
חילוץ הקריטריונים מתוך פונקציות ה- bwlabel
ו-regionprops ונירמולם לפי נתוני הרפרנס.
המשך עבודה לפי מכונת המצבים.

29. תיאור המערכת – שלב הריצה
פעולה מתאימה:
COM - IMM + מדידת מרכז מסה – למידת נתונים לטובת החזאי.
כניסה להסתרה/חציה ­ IMM + מדידת קורלציה – למידת נתונים לטובת החזאי.
הסתרה/חצייה מלאה – חזאי + חישוב קורלציה כדי לזהות יציאה ממצב זה.
יציאה מהסתרה/חציה – חזאי + מדידת קורלציה ללא שערוך וללא למידת נתונים.

30. תיאור המערכת – שלב הריצה
פעולות נוספות:
עדכון תמונת רפרנס: נבצע במעבר ממרכז מסה לקורלציה, רגע לפני שנזדקק לתמונת הרפרנס.
עדכון פרמטרים על המטרה: נבצע במעבר בין יציאה מהסתרה/חציה חזרה למרכז מסה.
חישוב חלון מסתגל בכל איטרציה.
חישוב מטריצת הרעש R בכל איטרציה.

31. ניסויים
ניסוי לבדיקת השפעות איתחול הסתברויות המודלים של ה-IMM על סרט סינטטי-תנועת סינוס.
ניסוי להשוואה בין מטריצות מרקוב שונות והשפעתן על המערכת
הניסוי נערך על סרט בתנועה משולבת( מהירות אחידה, מהירות משתנה, תנועת סינוס).
ניסוי להשוואה בין עבודה עם מטריצת R אחידה ומטריצת R מסתגלת על סרט עם רעש מערכת משתנה במיקום.
ניסוי לחישוב איכותי של רוחב הסרט של המערכת.

32. ניסוי 1- אתחול היסתברויות המודלים ב-IMM
ניתוח ומסקנות
האתחול של ההסתברויות לא משנה כמעט
את ערכי ההסתברויות העתידיים( למעט אולי תקופת מעבר קצרה).
גם ה-MSE ולמעשה כל פעולת המערכת לא מושפע כמעט מכך.
ניסוי 1- אתחול היסתברויות המודלים ב-IMM
מטרת הניסוי: בדיקת השפעת אתחולים שונים להסתברויות המודלים ב-IMM על עבודת המערכת.
פירוט הניסוי: אנו נריץ עבור מטריצת מרקוב קבועה מספר אתחולים שונים להסתברויות המודלים ונערוך השוואה בין היסתברויות המודלים לאורך הריצה ובין השגיאה הריבועית הממוצעת לכל הרצה.
מטריצת מרקוב עבור ניסוי זה היא:
קישור לגרף הסתברויות המודלים:
קישור לגרף שגיאה ריבועית ממוצעת:

33. ניסוי 2-השוואה בין מטריצות מרקוב שונות
מטרת הניסוי: בדיקת השפעת שינויים במטריצת מרקוב על
הסתברויות המודלים ב-IMM ועל עבודת המערכת.
פירוט הניסוי: אנו נריץ את המערכת עם מטריצת מרקוב שונה כל
פעם ונערוך השוואה בין היסתברויות המודלים
לאורך הריצה ובין השגיאה הריבועית הממוצעת
לכל הרצה.
הסרט עליו נערוך את הניסוי הוא סרט סינטטי בעל תנועה משתנה בכל ציר המורכבת מתנועה בעלת מהירות קבועה, תאוצה קבועה ותנועת סינוס.

34. ניסוי 2-השוואה בין מטריצות מרקוב שונות
תוצאות:
תוצאת לוואי ראשונה לניסוי היא בהדגמת היתרון בהפרדת צירים
ב-IMM על ידי הסתברויות המודלים השונות בין הצירים.
קישור לגרף מתאים:
תוצאה נוספת היא המשך למעשה לניסוי הקודם.
כעת אנו נראה איך שינוי במטריצת מרקוב משנה את הסתברויות המודלים ב-IMM ולמעשה, מטריצת מרקוב היא משפיעה עיקרית על הסתברויות אלו.
מהשוואה בין ההרצות עם 12 מטריצות מרקוב שונות קיבלנו את המטריצה העדיפה מביניהן.

35. ניסוי 3- השוואה בין מטריצת R קבועה ומטריצת R מסתגלת
קישור לסרט:
קישור לגרפי שגיאה:

36. ניסוי 3- השוואה בין מטריצת R קבועה ומטריצת R מסתגלת
הסבר מהתיאוריה לתוצאות הניסוי:
נבחין מתוך משוואות מסנן הקלמן שככל שרעש המדידה גדול יותר
למעשה ניתן בשיערוך יותר משקל לחיזוי יחסית למדידה.
מכאן ניתן להבין את חשיבות עדכון מטריצת R כאשר הרעש גדל
ואיכות המדידה יורדת.

37. ניסוי 4 – בדיקת רוחב סרט למערכת
תיאור הניסוי:
המערכת עוקבת אחרי תנועת סינוס בתדרים שונים (סדר עולה) , עד אשר היא נכשלת בעקיבה.
מטרת הניסוי:
השוואת ביצועים בין תדרי הסינוס השונים ומציאת גבול תדרי – רוחב סרט, ליכולת המערכת.
הערות:
התדרים הם ביחידות של רדיאן\פריים.
מודל הסינוס של ה-IMM הוא בעל תדר קבוע, ברור ששינוי פרמטרים במערכת ישנה את תוצאות הניסוי אבל מטרתנו היא לקבוע גבולות למערכת שבשימוש.
רוחב הסרט כפי שגילינו בניסוי הוא 0.1 rad/frame.
להמחשה: עבור קצב צילום וידאו נורמאלי של 30 פריימים לשנייה תדר זה הוא למעשה 3 rad/sec.
קישור לגרף MSE

38. סיכום – חידושים שהכנסנו
בניית מכונת מצבים ע"י הגדרה של בעיות מפורקות ופתרון ספציפי לכל מצב (קישור לשקופית דוגמא).
צמצום זמן חזאי ע"י הגדרת מצבי ביניים - כניסה/יציאה להסתרה/חציה, בנוסף התגברות על הסתרות חלקיות ורקע לבן (קישור לסרטון דוגמא להסתרה חלקית , קישור לסרטון הדגמה למצבים מרובים).
שילוב בין מרכז מסה לקורלציה: הם לא עובדים ביחד אלא כל אחד מופעל במצב אחר בתלות בקשיי העקיבה, כאשר הרעיון המרכזי הוא לחלק את קשיי העקיבה לשלוש:
קל – עקיבת מרכז מסה.
בינוני – נצפים עיוותים במטרה ( שטח,צירים) אנו עוברים לעקיבה
עם קורלציה.
קשה – אין לנו יכולת לזהות את המטרה – הפעלת חזאי.

39. סיכום – חידושים שהכנסנו
שיפור למידת התנועה: שילוב 3 מודלים עם הפרדת צירים – מקנה גמישות מרבית למערכת (קישור לשקף הפרדת הצירים).
עיבוד תמונה – רצף פעולות סינון המבודד את המטרה (קישור ).
נעילת מטרה ע"י שימוש בסימון וגילוי תנועה (קישור לשקף דוגמא).
מדדים משולבים להגברת יציבות – 6 פרמטרים למכונת מצבים (קישור ).
שימוש בערכים מדויקים – מדידת R + חישוב Q לפי התיאוריה.
שיפור יציבות העקיבה ע"י: עדכון מטרת רפרנס, עדכון פרמטרי רפרנס למכונת מצבים, שמוש בחלון מסתגל.
אין הגבלה למספר המטרות שהמערכת מסוגלת לעקוב מכיוון שהמערכת נבנתה כך שלכל מטרה יש עוקב עצמאי.

40. סרטים מסכמים סרט סינטטי - 8 מטרות חוצות.
סרט אמיתי – שלוש מכוניות במצבי חצייה שונים.
סרט אמיתי – הסתרה וחצייה
סרט אמיתי – 3 רכבים בסביבה מרובת מטרות
סרט אמיתי – 2 רכבים בסביבה מרובת מטרות
סרט אמיתי – עקיבה אחרי 3 אנשים

41. תודה לכל מי שעזר לנו בפרויקט
קובי
גבי
אורלי
סרגיי

42. סוף המצגת

43. גרף להדגמת היתרון בהפרדת צירים
שימו לב להבדלים
בערכים בין הצירים באיזורים השונים.
הבדל זה נובע מסוגי תנועה שונים על כל ציר.

44. דוגמא להשפעת מטריצת מרקוב על הסתברויות המודלים
שימו לב להבדלים
בערכים עבור מטריצות מרקוב השונות.

45. מטריצות מרקוב שונות
מטריצת מרקוב העדיפה מבחינת השגיאה הריבועית הממוצעת