איתור ומעקב אחר הכדור בסרט וידאו של משחק כדורגל מדריך: גיא גלבוע מגישים: יגאל חלמיש גלבוע רוט

מטרות הפרויקט: פיתוח מערכת לאיתור ומעקב אחר הכדור במשחק כדורגל מצולם. פיתוח מערכת לאיתור ומעקב אחר הכדור במשחק כדורגל מצולם. שימת דגש על יעילות האלגוריתם על מנת לאפשר מערכת זמן-אמת. שימת דגש על יעילות האלגוריתם על מנת לאפשר מערכת זמן-אמת. המערכת הינה חלק ממערכת כללית יותר למציאת מצבי ניבדל במשחק כדורגל. המערכת הינה חלק ממערכת כללית יותר למציאת מצבי ניבדל במשחק כדורגל.

דרישות: בדיקת שיטות לאיתור ומעקב אחר עצמים בסרט וידאו. בדיקת שיטות לאיתור ומעקב אחר עצמים בסרט וידאו. פיתוח אלגוריתם לאיתור ראשוני של הכדור. פיתוח אלגוריתם לאיתור ראשוני של הכדור. פיתוח אלגוריתם להמשך מעקב אחר הכדור תוך שימוש במידע קיים. פיתוח אלגוריתם להמשך מעקב אחר הכדור תוך שימוש במידע קיים. אפשרות עבודה עם פורמטים שונים של סרטים. אפשרות עבודה עם פורמטים שונים של סרטים. פיתוח מערכת העומדת בדרישות זמן-אמת. פיתוח מערכת העומדת בדרישות זמן-אמת.

שיטות לאיתור עצמים בתמונה: Edge-Detection: עקב גודל הכדור (2-6 פיקסלים) עצמים רבים בתמונה יכולים להיחשב ככדור. Edge-Detection: עקב גודל הכדור (2-6 פיקסלים) עצמים רבים בתמונה יכולים להיחשב ככדור. Thresholding: הכדור אינו העצם הבהיר ביותר ואינו בעל צבע ייחודי. Thresholding: הכדור אינו העצם הבהיר ביותר ואינו בעל צבע ייחודי. Templates: לאחר בחינה של מספר סרטים שונים, ניתן להגדיר סט קטן יחסית של תבניות המתאימות לכדור. Templates: לאחר בחינה של מספר סרטים שונים, ניתן להגדיר סט קטן יחסית של תבניות המתאימות לכדור.

Backgroun d picture Input frame Removing irrelevant information תאור האלגוריתם: Save information for processing next frame Template of the ball Ball location Choose best candidate Find matching patterns in frame Predefine d templates

מציאת תמונת רקע: ע"מ להקל באיתור הכדור נרצה להוריד מהתמונה מידע לא רלוונטי (קהל, סימונים על המגרש וכו'). ע"מ להקל באיתור הכדור נרצה להוריד מהתמונה מידע לא רלוונטי (קהל, סימונים על המגרש וכו'). לא ניתן להסתמך על תמונת רקע שצולמה לפני המשחק, מכיוון שתנאי התאורה משתנים ולכן נרצה למצוא את תמונת הרקע מאוסף התמונות של המשחק. לא ניתן להסתמך על תמונת רקע שצולמה לפני המשחק, מכיוון שתנאי התאורה משתנים ולכן נרצה למצוא את תמונת הרקע מאוסף התמונות של המשחק. הפחתת תמונת הרקע מכל תמונה תיצור תמונה חדשה בה מספר העצמים הדומים לכדור קטן משמעותית. הפחתת תמונת הרקע מכל תמונה תיצור תמונה חדשה בה מספר העצמים הדומים לכדור קטן משמעותית.

מציאת תמונת רקע (המשך): שיטת ה-Median: ביצוע median על רצף התמונות בזמן. שיטת ה-Median: ביצוע median על רצף התמונות בזמן. התוצאה המתקבלת הינה תמונה שבה עבור כל פיקסל נבחר הצבע השכיח ביותר. התוצאה המתקבלת הינה תמונה שבה עבור כל פיקסל נבחר הצבע השכיח ביותר. הכדור – הנע מהר יחסית – לא ימצא בתמונת הרקע. הכדור – הנע מהר יחסית – לא ימצא בתמונת הרקע.

הפחתת תמונת-הרקע מהתמונה: מכל תמונה נפחית את תמונת- הרקע. מכל תמונה נפחית את תמונת- הרקע. נדרש לבצע התאמה של התחום הדינמי של התמונה המתקבלת והתבניות. נדרש לבצע התאמה של התחום הדינמי של התמונה המתקבלת והתבניות.

איתור הכדור ע"פ תבנית: לאחר בדיקת סרטים שונים הגדרנו 8 תבניות המתאימות לגדלים שונים של הכדור ולכיווני תנועה שונים. לאחר בדיקת סרטים שונים הגדרנו 8 תבניות המתאימות לגדלים שונים של הכדור ולכיווני תנועה שונים.

איתור הכדור (המשך): קורלאציה עבור תמונת שחור-לבן. קורלאציה עבור תמונת שחור-לבן. –נבחר המועמד עבורו מתקבלת השגיאה הקטנה ביותר, ובתנאי שקטנה מסף מסוים. קורלאציה עבור תמונה צבעונית. קורלאציה עבור תמונה צבעונית. –בוצעה קורלאציה עבור כל צבע בנפרד. –בכל צבע נבחרו מספר מועמדים (ע"פ תחום שגיאה מוגדר). –נבחר מועמד לפי התאמה מקסימלית בשלושת הממדים.

שימוש בכדור כתבנית חיפוש בתמונה הבאה: לרוב ישנה קורלאציה גבוהה בין שתי תמונות עוקבות, לכן צורת הכדור תהיה כמעט זהה בשתי התמונות. לרוב ישנה קורלאציה גבוהה בין שתי תמונות עוקבות, לכן צורת הכדור תהיה כמעט זהה בשתי התמונות. לפני ביצוע קורלאציה על בסיס התבניות המוגדרות, ננסה תחילה את תבנית הכדור מהתמונה הקודמת. לפני ביצוע קורלאציה על בסיס התבניות המוגדרות, ננסה תחילה את תבנית הכדור מהתמונה הקודמת. בכל תמונה בה נמצא הכדור, "נחתוך" את הכדור בכדי שישמש תבנית חיפוש בתמונה הבאה. בכל תמונה בה נמצא הכדור, "נחתוך" את הכדור בכדי שישמש תבנית חיפוש בתמונה הבאה. תופעת סטייה מצטברת – נדרש תיקון ע“י מרכוז התבנית. תופעת סטייה מצטברת – נדרש תיקון ע“י מרכוז התבנית.

הקטנת שטח החיפוש: השינוי במיקום הכדור מתמונה לתמונה חסום ברדיוס של מספר עשרות פיקסלים. השינוי במיקום הכדור מתמונה לתמונה חסום ברדיוס של מספר עשרות פיקסלים. ננצל תכונה זו להקטנת שטח החיפוש ע"פ מיקום הכדור בתמונה הקודמת. ננצל תכונה זו להקטנת שטח החיפוש ע"פ מיקום הכדור בתמונה הקודמת. פעולה זו תעזור לעמוד בדרישות זמן-אמת. פעולה זו תעזור לעמוד בדרישות זמן-אמת.

הדגמה: הדגמה:

סיכום: תוצאות: תוצאות: –איתור הכדור בסרט צבעוני מניב תוצאות טובות יותר מאשר בסרט שחור- לבן, אך יקר יותר בזמן. –שימוש בכדור שנמצא כתבנית משפר משמעותית את נכונות האלגוריתם. –שימוש בהקטנת שטח החיפוש הקטינה את משמעותית את זמן החישוב ולא פגעה בנכונות. –רוב הטעויות במציאת הכדור מתרחשות כאשר הכדור מוסתר או נבלע בשחקן.

סיכום (המשך): הצעות להמשך: הצעות להמשך: –שילוב עם המערכת לאיתור השחקנים, תאפשר מעקב אחר שחקן כאשר הכדור ברשותו, במקום לנסות לאתר את הכדור. –צמצום שטח החיפוש ע"פ כיוון בכדור ומיקום גבולות המגרש (למקרה של חוץ, קרן, בעיטת שוער וכו').

סוף !