עקיבה בזמן אמת אחר מטרה מתמרנת בעזרת חזאי קלמן פילטר וחזאי IMM מגישים : נקש שלמה זילברשטיין שלמה מנחה : ד " ר גבי דוידוב אפריל 2004

מטרות הפרוייקט מטרה ראשית פיתוח מערכת עקיבה בזמן אמת אחר מטרה מתמרנת תוך שימוש בקלמן פילטר ו - IMM מטרות ביניים : רכישת המטרה בשיטת מרכז המסה מימוש החזאים סינון הפרעות חיצוניות תיכנון ומימוש מערכת רובסטית בזמן אמת

תיאור המערכת מטרה – כדור טניס שחור ראש הגבהה וצידוד הנשלט על ידי בקר Zebra מצלמת CCD שחור לבן כרטיס ללכידת תמונות – Rio frame grabber תוכנת העקיבה

אז מה בעצם הבעיה ? בעיה: רכישת מטרה ראשונית פתרון: שיטת האליפסות בעיה: רכישת מטרה במשך התנועה פתרון: שיטת מרכז המסה בעיה: זיהוי כניסה להסתרה פתרון: יחס שטחים בעיה: חיזוי פתרון: חזאי kalman / IMM בעיה: סינון הפרעות פתרון: חיסור לומד בעיה: Real-Time פתרון: עבודה קשה

רכישת מטרה אמינות חזאי x דיאגרמת בלוקים עיבוד תמונה פריים ולסיום... חזאי קלמן מודלים קינמטיים חזאי IMM מרכז מסה אמינות המדידה חיסור לומד חיפוש אליפסות

רכישת מטרה אמינות חזאי x דיאגרמת בלוקים עיבוד תמונה פריים ולסיום... חזאי קלמן מודלים קינמטיים חזאי IMM מרכז מסה אמינות המדידה חיסור לומד חיפוש אליפסות

חזאי kalman מודלים קינמטיים חזאי IMM חזאי

חזאי קלמן אי דיוק במודל המערכת גורם לשגיאה מצטברת בחיזוי. וקטור המצב יכול להכיל פרמטרי ם שאינם מדידים באופן ישיר. כל שגיאה במדידת וקטור המצב ההתחלתי תיתן שגיאה מצטברת. אין משוב במערכת. חיזוי פרמטרי "עניין" של מערכת דינאמית הינו מתן הערכה מספרית לערכם העתידי של פרמטרים אלו על סמך סדרת מדידות שנערכו קודם לכן. בעיית החיזוי הדינאמית: בעיות בתיאור המערכת: מערכת דינאמית ליניארית קבועה בזמן מתוארת על ידי משוואות מצב דטרמיניסטיות: לחיזוי מצב המערכת יש למדוד את וקטור המצב ההתחלתי ולפתח אותו על פי משוואות המצב

חזאי קלמן מטרה: מציאת משערך אופטימלי לשערוך וקטור המצב במקום להשתמש במשוואות מצב דטרמיניסטיות נשתמש במשוואות מצב סטוכסטיות: אלגוריתם השערוך - קלמן פילטר: בפתרון הבעיה נניח את ההנחה הגאוסית- ליניארית (LG): רעשים גאוסיים לבנים בעלי תוחלת אפס ושונות ידועה. וקטור המצב ההתחלתי מפולג גאוסית הרעשים והמצב ההתחלתי בלתי תלויים סטטיסטית. תהליך גאוסי -מרקובי ו- הם התוחלת ומטריצת הקווריאנס של וא"ג 1. קריטריון MMSE 2. לינאריות המשוואות 3. ההנחה הגאוסית- לינארית קריטריון האופטימליות שנבחר הוא קריטריון MMSE:

חזאי קלמן דיאגרמת העקיבה: State Prediction Transition to State prediction covariance Measurement Prediction Measurement residual Measurement at Updated state estimate Innovation covariance Filter Gain Updated State covariance State estimate at State covariance at State at State covariance Computation Estimation of the state Evolution of the system (true state) יציאה

חזאי קלמן מסנן אופטימלי: יכולת הסתגלות: מסנן רקורסיבי: פרמטרים עקיפים: תכונות מסנן קלמן: מביא למינימום את השגיאה הריבועית הממוצעת של השערוך. לכן, מערכת המבוססת על מסנן קלמן היא : רובסטית חסינה לרעש חסינה לטעויות במידול מוביל למימוש פשוט במחשב. שערוך המהירות והתאוצה של המטרה. מסתגל לטעויות במידול המערכת או לתימרונים משתנים בעזרת רעש המערכת ורעש המדידה. יציאה

מודלים קינמטיים נתאר את תנועת המטרה במספר מודלים: מודל מסדר שני - מהירות קבועה. מודל מסדר שלישי – תאוצה קבועה. מודל סינוסוידאלי – תאוצה משתנה. לצורך עבודה עם קלמן פילטר צריך לבחור מודל תנועה מתאים. לבחירת המודל צריך להיות קשר עם התיאור הפיסיקלי של תנועת המטרה. באופן כללי, משוואות התנועה של מטרה מתמרנת הן:

מודלים קינמטיים מודלים נבדלים באופיים ( סדר שני / שלישי ) ובפרמטרי הרעש שלהם. מודלים שונים מובילים לתוצאות חיזוי שונות עבור ניסויים דומים.

מודלים קינמטיים מודלים נבדלים באופיים ( סדר שני / שלישי ) ובפרמטרי הרעש שלהם. מודלים שונים מובילים לתוצאות חיזוי שונות עבור ניסויים דומים.

מודלים קינמטיים מודל סינוס : המודל מטפל במקרים של התנגשות ושינויי כיוון בתנועת המטרה. נניח כי תנועת הגוף בזמן רציף נתונה על ידי: מכאן נקבל את משוואת המצב הדטרמיניסטית: - תדר התנודה - קבועים (חסרי משמעות) במודל זה רעש המערכת מתווסף לשינויי התאוצה:

מכאן, נקבל את משוואת המצב הסטוכסטית: מודלים קינמטיים נבצע דיסקריטיזציה לקבלת משוואת מצב בזמן בדיד: נשים לב כי עבור מתקבלת מטריצה F זהה למודל מסדר שלישי. חשוב לשים לב כי עבור המודל לא אובזרוובילי

מודלים קינמטיים ניסוי עם מודל סינוס: גישה רב מודלית (IMM) מודל שגוי עקיבה פגומה שאיפה : מודל סינוס ישפיע אך ורק באזור ההתנגשות ובשאר התנועה מודל אחר יהיה דומיננטי יציאה

מודלים קינמטיים ניסוי עם מודל סינוס: גישה רב מודלית (IMM) מודל שגוי עקיבה פגומה יציאה

חזאי IMM מוטיבציה: תמצית האלגוריתם : מסנן קלמן משתמש במודל יחיד. בחירת מודל לא מתאים תגרום לעקיבה לא טובה מודל תנועת המטרה משתנה עם הזמן. למשל מתאוצה קבועה למהירות קבועה IMM - Interacting Multiple Model Mixing Filter No. 1 Filter No. 2 Mode probability update and mixing probability calculation State estimate and covariance combination יתרונות האלגוריתם : הרצת מספר קלמן פילטרים במקביל, כל אחד עם מודל שונה כל חזאי מקבל משקל שונה על סמך הצלחתו בחיזוי המטרה בעבר שקלול המודלים על פי משקלם לקבלת שערוך כולל ערבול תנאי ההתחלה התכנסות מהירה יותר של וקטור המצב לפרמטרי תנועת המטרה יכולת עקיבה עבור מגוון רב של תימרונים

השוואה בין חזאי IMM לחזאי קלמן חזאי קלמן

השוואה בין חזאי IMM לחזאי קלמן חזאי IMM

ניסוי התנגשות בשילוב מודל סינוס:

חזאי IMM יציאה Imm with “Sine” model Imm without “Sine” model

חזאי IMM יציאה

שיטת מרכז מסה מרכז המסה של המטרה מתפקד כמדידה הנרכשת אשר נזין לחזאי. חישוב מרכז המסה מתבצע על פי הנוסחה: נבצע בינאריזציה של התמונה בעזרת חיתוך סף, כך שכל פיקסלי המטרה יעברו את חיתוך הסף ויתרמו באופן שווה חיפוש מרכז מסה בחלון חיפוש המוגדר סביב פלט החזאי, לחסכון בזמן עיבוד דגשים: בעיות קביעת גודל חלון החיפוש סטיית מרכז המסה בכניסה להסתרה פתרונות קשרנו (בעקיפין) בין גודל חלון החיפוש לרעש המדידה שמירת היסטוריה קצרה של וקטור המצב ומטריצת הקווריאנס

קריטריון טיב לאמינות המדידה בכדי לא לדרוש דיוק לאורך כל התהליך איננו מייחסים חשיבות לכל סטייה של rat מ-100%, אלא: המדידה תקינה – חיזוי רגיל המדידה משובשת: רעש המדידה מוגדל הפרעה - מתעלמים מהמדידה המדידה משובשת: רעש המדידה מוגדל הסתרה - מתעלמים מהמדידה למה צריך קריטריון לאמינות המדידה ? זיהוי מדידה פגומה והגדלת רעש המדידה בהתאם לרמת חוסר האמינות. זיהוי הסתרות והפרעות דומיננטיות והפעלת החזאי בהתעלמות מן המדידות המתקבלות אנחנו בחרנו להשתמש בקריטריון טיב של "יחס שטחים": חישוב השטח הצפוי הינו בעיה הקשורה במבנה המצלמה, בסוג המטרה ובגיאומטריה של הבעיה

קריטריון טיב לאמינות המדידה בכדי לא לדרוש דיוק לאורך כל התהליך איננו מייחסים חשיבות לכל סטייה של rat מ-100%, אלא: המדידה תקינה – חיזוי רגיל המדידה משובשת: רעש המדידה מוגדל הפרעה - מתעלמים מהמדידה המדידה משובשת: רעש המדידה מוגדל הסתרה - מתעלמים מהמדידה למה צריך קריטריון לאמינות המדידה ? זיהוי מדידה פגומה והגדלת רעש המדידה בהתאם לרמת חוסר האמינות. זיהוי הסתרות והפרעות דומיננטיות והפעלת החזאי בהתעלמות מן המדידות המתקבלות אנחנו בחרנו להשתמש בקריטריון טיב של "יחס שטחים": חישוב השטח הצפוי הינו בעיה הקשורה במבנה המצלמה, בסוג המטרה ובגיאומטריה של הבעיה יציאה

זיהוי כניסה להסתרה / אמינות המדידה יציאה

קריטריון טיב לאמינות המדידה שימוש בקריטריון טיב אמין יכול למנוע את המשך חיזוי ואיבוד המטרה במקרים הבאים: הסתרה שמסתירה את המטרה באופן חלקי ולאחר מכן באופן מלא הפרעה שמוסיפה פיקסלי רעש לחלון החיפוש ולפיכך מזיזה את מרכז המסה אנחנו בחרנו להשתמש בקריטריון טיב של "יחס שטחים": בכדי לחשב את השטח הצפוי אנו: משתמשים בידע מוקדם על צורת המטרה וגודלה מחשבים בתחילת העקיבה את המרחק הניצב אל מישור התנועה של הכדור משתמשים בשערוך של וקטור המצב לגבי מיקום הכדור בכדי לא לדרוש דיוק לאורך כל התהליך איננו מייחסים חשיבות לכל סטייה של rat מ-100%, אלא: המדידה תקינה – חיזוי רגיל המדידה משובשת: רעש המדידה מוגדל הפרעה - מתעלמים מהמדידה המדידה משובשת: רעש המדידה מוגדל הסתרה - מתעלמים מהמדידה

זיהוי כניסה להסתרה / אמינות המדידה מערכת הקואורדינטות שאנו עובדים איתה הינה מערכת המעבדה ולכן עלינו לדעת לעבור מפיקסלים לסנטימטרים. בשרטוט מוצג המודל של המצלמה מבחינה אופטית. הנוסחאות שפיתחנו מאפשרות המרה ממרחק בפיקסלים במערכת התמונה למרחק בסנטימטרים במערכת המעבדה : O A D O’ C מיקום מרכז המצלמה. מיקום הכדור במערכת המעבדה. מיקום הכדור במערכת התמונה. יציאה

חיסור התמונה מתמונת רקע ראשונית שיטת חיסור לומד פתרון: תמצית השיטה: יצירת תמונת רקע המכילה את הרקע שהכדור עתיד להיתקל בו חיסור התמונה מתמונת הרקע הדינאמית סינון חציון על התמונה המחוסרת חיתוך סף להבלטת המטרה חישוב מרכז המסה יתבצע על התמונה המחוסרת לאחר סינון ההפרעות בעיה:בתהליך רכישת המטרה, חלון החיפוש מכיל רקע שלא את כולו נוכל לסנן ע"י חיתוך בסף חיסור התמונה מתמונת רקע מסתגלת חיסור בין תמונות עוקבות

שיטת חיסור לומד הדגמה של שיטת החיסור הלומד:

חיפוש אליפסות תמונה ראשונית:

חיפוש אליפסות סינון עם גאוסיאן:

חיפוש אליפסות גזירה:

חיפוש אליפסות חיתוך בסף + חיפוש אליפסות:

חיפוש אליפסות חיתוך בסף + חיפוש אליפסות: יציאה

זמן - אמת קשיי זמן אמת: דגימת התמונה היא בקצב של 50Hz. לכן מגבלת זמן העיבוד של פריים היא 20 ms. המערכת צריכה להיות רובסטית ולהתמודד עם מגוון התרחשויות. השפעת תנאי הסביבה על הניסוי.

התמודדות עם שינויי מודל תוך כדי הסתרה ניסוי קלמן

התמודדות עם שינויי מודל תוך כדי הסתרה ניסוי IMM

הצעות לפרוייקטי המשך בניית מערכת בחוג סגור הכוללת את צידוד והגבהת המצלמה במהלך תנועת המטרה. שילוב מערכת העקיבה על רובוט הנע במרחב החדר. בניית סימולטור המבוסס על המערכת לצרכי לימוד של עקרונות מסנן קלמן ואלגוריתם ה – IMM.

תודות לד"ר גבי דוידוב לצוות המעבדה לבקרה: קובי כוחיי, אורלי ויגדרסון וסרגיי לצוות המעבדה לעיבוד תמונה: יוחנן ארז ואינה קרינסקי לפרופ' אריה פויאר