נושא הפרויקט : עקיבה אחר שתי מטרות מתנגשות בעזרת מסנן קלמן. מגישים: דניאל דורון ורוט בועז מנחה: ד"ר גבי דוידוב

נושאי הדיון עקיבה אחר מטרות איטיות בעזרת אלגוריתם IMM מסדר שני ושלישי . התמודדות עם סרט אמיתי בסביבה לא הומוגנית ורועשת (שיחים , רקע נע, מצלמה מתנדנדת בשל הרוח ). מטרות דומות עם תנועה ומימדים משתנים והתמזגות בנוף .

רקע תאורטי מרכז כובד. קורלציה. קלמן פילטר. IMM.

שיטות עקיבה מבוססות על עיבוד תמונה שיטת מרכז הכובד: מרכז כובד של אובייקט נתון ע"י: N - מס' הפיקסלים באובייקט; I - ערכי הפיקסלים. מרכז הכובד מהווה יעד לסימון, וסביב סימון זה מתעדכן חלון העקיבה. במחזור הבא, לאחר שהמטרה זזה בתוך חלון העקיבה הקיים, חוזרים שוב על תהליך חיפוש מרכז הכובד ועדכון חלון העקיבה. å = N i c I x 1

שיטת הקורלציה שיטה זו מסתמכת על השוואת חלון העקיבה לתמונת הרפרנס העדכנית . עיבוד תוצאות חישוב הקורלציה : מעל סף גבוה : עדכון תמונת רפרנס המשך מעקב עפ"י מרכז מסה . ערך סף ביניים : אין עדכון תמונת רפרנס המשך מעקב עפ"י מרכז מסה . מתחת לסף נמוך : אין עדכון תמונת רפרנס חיזויי על פי קלמן פילטר .

מסנן קלמן פותח בשנת 1960 ע"י רודולף קלמן. מורכב מסט של משוואות מתמטיות, המיישמות משערך אופטימאלי במובן של מזעור שונות השגיאה. עבודה בשני שלבים : 1. חיזוי ווקטור המצב לפני קבלת המדידה. 2. עדכון השערוך לאחר קבלת ערכי המדידה. פעולת המסנן מאופיינת במחזוריות: מתבצע שערוך מראש של ווקטור המצב ובהמשך, תיקון הווקטור המשוערך לאחר כניסת המדידה. לפירוט להמשך

מסנן קלמן המשך מסנן זה מפיק את המשערך של וקטור המצב הבא האופטימאלי במובן של מזעור שונות השגיאה. מודל המערכת: z – ווקטור המדידות v – רעש המצב w – רעש המדידה

משוואות מסנן קלמן P – מטריצת הקוואריאנס של וקטור המצב בהינתן המדידות . x- המשערך האופטימלי . נציין כי החישוב הוא רקורסיבי עדכון המדידה: עדכון המצב:

משוואות מסנן קלמן המשך ומשילוב של (1) ו – (2), נוכל לקבל את המשערך

אלגוריתם ה IMM (Interactive Multiple Model) מטרת האלגוריתם היא לשפר את שערוך מיקום מרכז הכובד של המטרה ע"י מתן שערוך המבוסס על ערבול מודלים שונים. המסננים אותם אנו מממשים הינם מסדר שני ושלישי.

ניתן לתאר את אלגוריתם ה IMM בעזרת התרשים הבא: Mixing Filter No. 1 No. 2 Mode probability update and mixing probability calculation State estimate and covariance combination

פירוט אלגוריתם ה IMM צעדי האלגוריתם : חישוב הסתברויות הערבול: שלב הערבול:

3. התאמת מודל-מצב: 4. עדכון הסתברות המצב: 5. שקלול וקטור המצב והקוואריאנס: אלגוריתם ה IMM (Interactive Multiple Model) (המשך )

פיתוח הנושאים לדיון עקיבה אחר מטרות בעזרת IMM/KALMAN. שיפור מיקום חלון – עבור מטרות מהירות. ניפוח חלון חיפוש כולל קורלציה "רצה" . IMM לעומת KALMAN התמודדות עם סרט אמיתי מחיקת רקע . תנודות מצלמה ורקע . מטרות בעלות צורה לא רציפה. חליפת מטרות . גילוי לאחר יציאה מקרבה .

שיפור מיקום החלון באמצעות שילוב מרכז מסה וקורלציה שיפור מיקום החלון נדרש בעיקר כאשר תנועת המטרה מהירה מגודל החלון , דבר שעלול לגרום לאיבוד המטרה. דוגמא לאיבוד מטרה ע"י תנועה מהירה. ישנם שתי דרכים להתמודד עם התופעה: הגדלת חלון החיפוש – לשיטה זו חסרון בסביבה רועשת. שיפור מיקום החלון – שיטה זו ממקמת את החלון במספר איטרציות באמצעות שילוב בין שיטת מרכז המסה לבין שיטת הקורלציה . אופן השילוב : מציאת מרכז מסה של חלון החיפוש. בדיקת קורלציה. חזרה לשלב א אם יש צורך בשיפור מיקום החלון (עפ"י ערך הקורלציה). דוגמא לשיפור מיקום החלון.

ניפוח כולל קורלציה " רצה " . תהליך ניפוח החלון: בחיזוי תנועה של מטרה באזור נסתר ישנן מספר בעיות: תמרון ( ואפילו תמרון קל ביותר – שינוי מהירות \ כיוון \תאוצה וכו') שגיאת שיערוך מצטברת- בעקבות כניסה לחיזוי עם וקטור מצב שגוי. בעיות אלו גורמות לחיזוי מוטעה של מיקום המטרה בזמן ההסתרה , דבר הפוגע ביכולת הלכידה , ביציאה מההסתרה. ע"י בחינת מספר פתרונות , מצאנו כי שימוש בחלון מתנפח הינו הפתרון היעיל ביותר . תהליך ניפוח החלון: עם זיהויי כניסה להסתרה אנו מגדילים את חלון החיפוש ,כל מספר צעדים ,במספר פיקסלים לכל כיוון. כעת אנו מחפשים את המטרה ע"י בצוע החלקה של תמונת הרפרנס על החלון המנופח. עם מציאת המטרה החלון יקטן במספר שלבים ע"מ ללכוד את המטרה בצורה יעילה . דוגמא לניפוח חלון

IMM לעומת KALMAN השוואה זו מתבקשת ע"מ לעמוד על היתרונות של הIMM על מנת להתמודד עם מטרות שתנועתן אינה קבועה (ולעיתים אף כאשר תאוצתן אינה קבועה) נשאף להתאים את מודל המסנן שלנו לסוג התנועה הנוכחית (מסנן מסתגל) בסרט הבא נראה תנועה בעלת מהירויות ותאוצות משתנה – חיזוי התנועה מתבצע ע"י IMM מסדר שני ושלישי בלבד. סרטון המראה תנועה בעלת מהירויות ותאוצות משתנות

IMM לעומת KALMANסטטיסטיקה

IMM לעומת KALMANסטטיסטיקה

מחיקת רקע בהתמודדות עם סרטים אמיתיים אנו נתקלים במספר בעיות שהעיקרית הינה זיהוי המטרה כאשר הרקע אינו הומוגני , ולפעמים המטרה נטמעת בו. לצורך נטרול השפעת הסביבה ככל האפשר , אנו נרצה "למחוק" את הרקע . שלבי מחיקת הרקע: רכישת תמונת רפרנס (תמונה של האזור ללא המטרות) . חיסור תמונת הרפרנס מכל FRAME -מתקבלת תמונה " חלקה " שבה אמורות להופיע רק המטרות שלנו . הפיכת התמונה לתמונת שחור\לבן . * שלב זה מתבצע על שכבה אחת משלושת שכבות הצבע (בחרנו RED) דוגמא למחיקת רקע

תנודות מצלמה ורקע כפי שראינו בדוגמא הקודמת , לשיטה זו של מחיקת הרקע ישנם כמה בעיות(בעיקר בשל הרוח) תנודות המצלמה (בעיקר בתמונות רחוקות\בעלות גזרה רחבה). תנודות פריטים בנוף (בעיקר שיחים). ההתמודדות עם בעיות אלו ושימת דגש על גזרה רחבה מתבצעת באמצעות פתרון פשוט ומוכר : מסנן גאוסי סטנדרטי. התהליך הינו פשוט: 1)החלקת תמונת הרפרנס (משקל גבוה לפיקסל עצמו) . 2) החלקת ה FRAME הרלוונטי כנ"ל . 3)מציאת ההפרש בין התמונות. דוגמא להתמודדות עם רוח ותנודות מצלמה

מטרות בעלות צורה לא רציפה-הבעיה כאשר ישנה מטרה אשר צורתה אינה רציפה,לדוגמא בעלת חלון גדול, מתעוררת בעיה. בשיטת מרכז המסה ,חלון העקיבה ימורכז סביב מרכז המסה. במקרה שהמטרה לא רציפה, מרכז חלון החיפוש לא יהיה סביב מרכז המטרה. תופעה זו לדעתנו משמעותית יותר כאשר המטרה משנה את כיוונה ו"החור" משנה את צורתו . התמודדותנו עם תופעה זו תתואר בשקף הבא .

מטרות בעלות צורה לא רציפה-פתרון אנו ממלאים את החורים על בסיס תמונת ה- BW ע"י הרחבת כל פיקסל למטריצה 5*5 . אלגוריתם זה אומנם מגדיל לנו את מסגרת המטרה בשני פיקסלים לכל כיוון,אך הרווח שלנו הוא בהגדלת רציפות המטרה. בנוסף צריך לזכור שההוספה היא מארבעת הכיוונים כך שההשפעה הכוללת כמעט אינה משמעותית ,לקביעת מרכז המטרה . דוגמא לפתרון של מטרות לא רציפות

חליפת מטרות כאשר המטרות מתקרבות אחת לשנייה חלונות החיפוש (ולעיתים אף הרקע) משפיעים אחד על השני (קבלת מידע מ"השכן"). מידע זה גורר שגיאה בעקיבה שיכולה לגרור איבוד המטרה או רכישת מטרה לא נכונה. *הפתרון – אלגוריתם לעקיבה אחר מטרות קרובות . דוגמא לחליפת מטרות

אלגוריתם לעקיבה אחר מטרות קרובות כאשר המטרות מתקרבות אחת לשנייה (מתחת לסף קרבה מסוים) המערכת משנה תצורת עקיבה. בשלב זה נייצר לכל מטרה תמונת רפרנס עדכנית. נפתח חלון חיפוש המכיל את שתי המטרות,מרכזו במרכז הקו המחבר את מרכזי חלונות החיפוש הקטנים. כעת בתוך החלון הגדול אנו מחפשים את שני הגופים הגדולים ביותר (באמצעות שיטות עיבוד תמונה). נבדוק את הגודל המינימאלי של המטרות -ע"מ לוודא שלא עוקבים אחרי "רעש". העקיבה תתבצע אחר מרכז מסה אחד לפחות, בחלון הגדול-במקרה שלא נצפית אף מטרה , מיקום המטרות יהי ע"פ חיזוי הקלמן (IMM). על מנת לתאם כל עוקב למטרתו , נבצע בדיקת קורלציה כל FRAME . ברגע שמרחק מרכזי הגופים גדול מערך הסף אנו חוזרים לחלונות חיפוש רגילים ואופן חיפוש רגיל.

תנועה איטית מעקב וחיזויי בעזרת מסנן קלמן בעייתי (אם לא לומר אפילו בלתי אפשרי ) במהירויות נמוכות ובמיוחד בתנאי תנועה משתנה ומורעשת . תנועה איטית בסביבה בדידה (פיקסלים) מאופיינת ביחס אות לרעש נמוכים (קוונטיזציה) ומכאן הקלמן לומד מנתונים בעייתיים. התוצאה: חיזוי שגוי המאבד את המטרות לעיתים קרובות מדי ולכן אינו שמיש . נמחיש בעיה זו בעזרת דוגמא מספרית: נניח תנועה במהירות של 8.51 פיקסלים לדגימה. נתוני הקלמן יהיו 9 פיקסלים - יחס של כ 0.5 ל 9. לעומת זאת בתנועה במהירות של 2.5 פיקסלים לדגימה ,היחס יהיה 0.5 ל 3. כאשר שגיאה זו מתקבלת בסמוך לכניסה להסתרה , גורל העקיבה נחרץ !!!

סיכום-שילוב קלמן עם טכניקות עיבוד תמונה שיטת העקיבה היעילה לדעתנו הינה שילוב בין קלמן לבין שיטות עיבוד תמונה. כאשר המטרות רחוקות אנו עוקבים בשיטה הרגילה (מרכז מסה בשילוב קורלציה) וחוזים בעזרת קלמן במצב הסתרה . כאשר המטרות מתקרבות אחת לשנייה אנו עוברים לשיטת עיבוד תמונה . במצב זה הקלמן ממשיך ללמוד כל עד המטרות לא התחברו . עם יציאה מקרבה המצב יחזור לקדמותו .

מנגנון עדכון תמונת רפרנס סימון מטרה תרשים זרימה של המערכת עיבוד תמונה חלון חיפוש מרכוז ראשוני בניית חלון חיפוש מ מסה בדיקת קורלציה שיפור מיקום חלון בדיקת קירבה בדיקת קורלציה סופית חיזוי קלמן מנגנון כיווץ חלון שינוי קואורדינטות אלגוריתם מטרות קרובות מנגנון עדכון תמונת רפרנס לימוד קלמן ניפוח חלון

הדגמות עקיבה אחר שתי מטרות סינטטיות (מהירות משתנה , הסתרה ). עקיבה אחר שתי מטרות המסתירות אחת את השנייה. עקיבה אחר שתי מטרות המסתירות החולפות אחת מעל את השנייה , תנועת בננה (מהירות משתנה). עקיבה אחר שתי מטרות הנוסעות במקביל ( הסתרה חלקית , איבוד מטרות ) עקיבה אחר שתי מטרות המשנות כיוון , חולפות אחת על פני רעותה , ומוסתרות מיד.

נספחים

דוגמא לאיבוד מטרה ע"י תנועה מהירה. מרכז המסה החדש חזרה

דוגמא לשיפור מיקום החלון-1.

דוגמא לשיפור מיקום החלון-2.

דוגמא לשיפור מיקום החלון-3. חזרה

דוגמא לניפוח חלון חזרה

דוגמא למחיקת רקע- תמונת המקור

דוגמא למחיקת רקע – מסכת ה RED עליה מתבצע העיבוד

דוגמא למחיקת רקע – תמונת ההפרש בין המקור לרפרנס (ללא פילטר) חזרה

דוגמא למחיקת רקע – מסכת ה RED עליה מתבצע העיבוד

דוגמא למחיקת רקע והתמודדות עם "רעשים" – תמונת ההפרש בין המקור לרפרנס (ללא פילטר)

דוגמא למחיקת רקע – מסכת ה RED לאחר העברת המסנן

דוגמא למחיקת רקע והתמודדות עם "רעשים"– תמונת ההפרש בין המקור לרפרנס (לאחר פילטר)

דוגמא קיצונית להתמודדות עם "רעשים"– המחשת תמונת ההפרש לאחר בינריזציה (ללא פילטר)

דוגמא קיצונית להתמודדות עם "רעשים"– תמונת ההפרש לאחר בינריזציה (לאחר פילטר) חזרה

דוגמא לניפוח מטרה לא רציפה – מטרות לאחר בינריזציה (ללא ניפוח) דוגמא לניפוח מטרה לא רציפה – מטרות לאחר בינריזציה (ללא ניפוח)

דוגמא לניפוח מטרה לא רציפה – מטרות לאחר בינריזציה (לאחר ניפוח) דוגמא לניפוח מטרה לא רציפה – מטרות לאחר בינריזציה (לאחר ניפוח) חזרה

דוגמא לחליפת מטרות – מידע שגוי מה"שכן" חזרה