עקיבה וזיהוי של פעולות אדם. מבנה ההרצאה הצגת הבעיה – והצגת פתרון כללי לבעיות מסוג זה. Josephine Sullivan and Stefan Carlson Algorithm of Recognizing and.

Slides:



Advertisements
Similar presentations
כריית מידע -- Clustering
Advertisements

מבוא למדעי המחשב לתעשייה וניהול
1 Formal Specifications for Complex Systems (236368) Tutorial #4 Refinement in Z: data refinement; operations refinement; their combinations.
מה קורה בתא הפוסט - סינפטי עקב הפעלת סינפסה כימית ?
עיבוד תמונות ואותות בעזרת מחשב
מתמטיקה בדידה תרגול 3.
איתור ומעקב אחר הכדור בסרט וידאו של משחק כדורגל מדריך: גיא גלבוע מגישים: יגאל חלמיש גלבוע רוט.
דוד שוורץ, עידן זק, נטע צור וחיה כהן. הפונקציונאליות : המשתמש יבחר קובץ שעליו הוא רוצה לבצע את האנליזה, וילחץ עליו עם כפתור ימני בעכבר. יפתח תפריט ובו.
רקורסיות נושאי השיעור פתרון משוואות רקורסיביות שיטת ההצבה
השוואת רצפים.
מסדי נתונים תשס " ג 1 תכנון סכמות (Design Theory) מסדי נתונים.
משטר דינמי המשך – © Dima Elenbogen :55 חידה שכדאי לעבור עליה: 2011/ho/WCFiles/%D7%97%D7%99%D7%93%D7%94%20%D7%A2%D7%9D%20%D7%91%D7%95%D7%A0%D7%95%D7%A1.doc.
Inverse kinematics (Craig ch.4) ב"ה. Pieper’s solution נתבונן ברובוט עם 6 מפרקי סיבוב כאשר שלושת הצירים של המפרקים האחרונים נחתכים. נקודת החיתוך נתונה.
חורף - תשס " ג DBMS, Design1 שימור תלויות אינטואיציה : כל תלות פונקציונלית שהתקיימה בסכמה המקורית מתקיימת גם בסכמה המפורקת. מטרה : כאשר מעדכנים.
אינטרפולציה רועי יצחק.
חורף - תשס " ג DBMS, צורות נורמליות 1 צורה נורמלית שלישית - 3NF הגדרה : תהי R סכמה רלציונית ותהי F קבוצת תלויות פונקציונליות מעל R. R היא ב -3NF.
1 Formal Specifications for Complex Systems (236368) Tutorial #5 Refinement in Z: data refinement; operations refinement; their combinations.
בהסתברות לפחות למצא בעיה במודל PAC עבור בהסתברות ε הפונקציה f טועה מודל ONLINE 1. אחרי כל טעות הפונקציה משתפרת 2. מספר הטעיות קטן.
מדידת תנועת קרום כדור הארץ בשיטות שונות טקטוניקה - תרגול 6.
מסדי נתונים תשס " ג 1 תכנון סכמות – אלגוריתם פירוק לתבניות בצורת BCNF מסדי נתונים.
א " ב, מילים, ושפות הפקולטה למדעי המחשב אוטומטים ושפות פורמליות ( ) תרגיל מספר 1.
א " ב, מילים, ושפות הפקולטה למדעי המחשב אוטומטים ושפות פורמליות ( ) תרגיל מספר 1.
Formal Specifications for Complex Systems (236368) Tutorial #6 appendix Statecharts vs. Raphsody 7 (theory vs. practice)
תכנות תרגול 6 שבוע : תרגיל שורש של מספר מחושב לפי הסדרה הבאה : root 0 = 1 root n = root n-1 + a / root n-1 2 כאשר האיבר ה n של הסדרה הוא קירוב.
1 חישוב ואופטימיזציה של שאילתות חלק 2 Query Evaluation and Optimization Part 2.
1 Formal Specifications for Complex Systems (236368) Tutorial #1 Course site : T.A. :Emilia Katz.
א " ב, מילים, ושפות הפקולטה למדעי המחשב אוטומטים ושפות פורמליות ( ) תרגיל מספר 1.
השוואה בין מערכות למסדי נתונים בשקפים אלו נשווה בין מסד הנתונים של רכבת ישראל למסד של רכבת גרמניה. בהרבה מקרים, המסד של מערכת הרכבות הישראלית לא יכול למצוא.
דיפרנציאציה ואינטגרציה נומרית
מבוא כללי למדעי המחשב תרגול 3. לולאות while לולאות while while (condition) { loop body } במקרה של קיום התנאי מתבצע גוף הלולאה ברגע שהתנאי לא מתקיים נצא.
ערכים עצמיים בשיטות נומריות. משוואה אופינית X מציין וקטור עצמי מציינת ערך עצמי תואם לוקטור.
The Cyclic Multi-peg Tower of Hanoi מעגלי חד-כווני סבוכיות הפתרון בגרסאות עם יותר מ-3 עמודים.
טיב פני שטח (טפ"ש) טיב פני שטח- רמת החלקות של המשטח.
Data Structures, CS, TAU, Perfect Hashing 1 Perfect Hashing בעיה : נתונה קבוצה S של n מפתחות מתחום U השוואה ל - Hash : * טבלה קבועה (Hash רגיל - דינאמי.
אלכסנדר ברנגולץ דואר אלקטרוני: אלכסנדר ברנגולץ דואר אלקטרוני: פעולות מורפולוגיות.
1 Data Structures, CS, TAU, Perfect Hashing בעיה: נתונה קבוצה S של n מפתחות מתחום U השוואה ל- Hash : * טבלה קבועה (Hash רגיל - דינאמי) * רוצים זמן קבוע.
משטר דינמי – © Dima Elenbogen :14. הגדרת cd ו -pd cd - הזמן שעובר בין הרגע שראשון אותות הכניסה יוצא מתחום לוגי עד אשר אות המוצא יוצא מתחום.
מערכים עד היום כדי לייצג 20 סטודנטים נאלצנו להגדיר עד היום כדי לייצג 20 סטודנטים נאלצנו להגדיר int grade1, grade2, …, grade20; int grade1, grade2, …, grade20;
מודל הלמידה מדוגמאות Learning from Examples קלט: אוסף של דוגמאות פלט: קונסיסטנטי עם פונקציה f ב- C ז"א קונסיסטנטי עם S ז"א מודל הלמידה מדוגמאות Learning.
עקרון ההכלה וההדחה.
יחס סדר חלקי.
עיבוד תמונות ואותות בעזרת מחשב תרגול מס' 8: Template Matching
Markov Decision Processes (MDP) תומר באום Based on ch. 14 in “Probabilistic Robotics” By Thrun et al. ב"הב"ה.
Eigenfaces for Recognition
מודל הלמידה מדוגמאות Learning from Examples קלט: אוסף של דוגמאות פלט: קונסיסטנטי עם פונקציה f ב- C ז"א קונסיסטנטי עם S ז"א.
1 עקיבה אחר מטרה בשיטת קורלציה בשילוב אלגוריתם IMM מגישים: קיריצ'נקו אלכס שישלניקוב דניס מנחה: דר' גבי דוידוב הטכניון - מכון טכנולוגי לישראל TECHNION -
גיאולוגיה סטרוקטורלית מעגלי מוהר למעוות סופי (המשך...)
1 מבוא למדעי המחשב סיבוכיות. 2 סיבוכיות - מוטיבציה סידרת פיבונאצ'י: long fibonacci (int n) { if (n == 1 || n == 2) return 1; else return (fibonacci(n-1)
Points on a perimeter (Convex Hull) קורס – מבוא לעבוד מקבילי מבצעים – אריאל פנדלר יאיר ברעם.
Text to speech In Mobile Phones איתי לוי. הקדמה שימוש בהודעות טקסט על המכשירים הסלולארים היא דרך תקשורת מאוד פופולארית בימינו אשר משתמשים בה למטרות רבות,
11 Introduction to Programming in C - Fall 2010 – Erez Sharvit, Amir Menczel 1 Introduction to Programming in C תרגול
Interpolation Functions in Matlab By Dmitriy Katsif.
WEB OF SCIENCE. WEB OF SCIENCE  Science Citation Index ExpandedTM  Social Sciences Citation Index®  Art & Humanities Citation Index®
דיפרנציאציה ואינטגרציה נומרית
פיתוח מערכות מידע Class diagrams Aggregation, Composition and Generalization.
Sense (Gene) Anti-sense Anti- sense.
תכנות אסינכרוני, תקשורת ופיתוח אפליקציות ל- Windows 8.1 ואפליקציות ל- Windows Phone 8 Control (Part II)
מבוא למדעי המחשב לתעשייה וניהול הרצאה 7. סברוטינות subroutines.
1 Formal Specifications for Complex Systems (236368) Tutorial #1 Course site:
. Sequence Alignment Tutorial #3 © Ydo Wexler & Dan Geiger.
קשר לוגי : סיבה ותוצאה. במשפט – דוגמות קלות בגלל הגשם החלטנו לא לנסוע לטיול לחיפה. הרצון שלי להצליח הניע אותי להשקיע בלימודים. ציפורים נודדות בין יבשות.
מספרים אקראיים ניתן לייצר מספרים אקראיים ע"י הפונקציה int rand(void);
Formal Specifications for Complex Systems (236368) Tutorial #1
מבוא למדעי המחשב סיבוכיות.
תירגול 14: מבני נתונים דינאמיים
פרוקטוז, C6H12O6 , חד-סוכר מיוחד
תזכורת על מה דיברנו שיעור שעבר? בנינו אתר אינטרנט עם כותרות
סמינר בנושאים מתקדמים בעיבוד תמונה
NG Interpolation: Divided Differences
Engineering Programming A
Presentation transcript:

עקיבה וזיהוי של פעולות אדם

מבנה ההרצאה הצגת הבעיה – והצגת פתרון כללי לבעיות מסוג זה. Josephine Sullivan and Stefan Carlson Algorithm of Recognizing and Tracking Human Action Recognizing Action at a Distance By Efros, Berg, Mori and Malik סיכום

הצגת הבעיה קלט : רצף פריימים ( קטע וידאו ) המכילים דמות אדם או מספר דמויות המבצעים פעולות שונות פלט : זיהוי (קטלוג) הפעולות המבוצעות בכל פריים ע"י הדמות\דמויות. למשל : ריצה ימינה, בעיטה(כדורגל), חבטת פורהנד(טניס).

פתרון כללי המשותף לאלגוריתמים מסוג זה : מציאת אזורי התעניינות : נמצא את האזורים(חלונות) שבסביבתם נמצאים הדמות או הדמויות שנרצה לעקוב אחר פעולותיהם.

פתרון כללי המשותף לאלגוריתמים מסוג זה (2) : אזור ההתעניינות שנמצא עובר תהליך כלשהו על מנת למצוא יצוג שיאפיין את התנועה או הדמות בכל פריים. דוגמה לייצוג כזה : optical flow. (תהליך זה ספציפי לכל אלגוריתם ומהווה את ההבדל העיקרי בין האלגוריתמים העוסקים בבעיה זו. )

פתרון כללי המשותף לאלגוריתמים מסוג זה (3) : הייצוג שנמצא עבור כל פריים\סדרת פריימים מושווה ל DB שמכיל פריימים (ביחד עם הייצוג הספציפי שלהם). הפריימים ב DB מקוטלגים עבור כל פעולה שנרצה לזהות. נקרא לפריימים אלו KeyFrames. תהליך ההשוואה בכל אלגוריתם הוא שונה, מותאם לייצוג שבו משתמש האלגוריתם ( הייצוגים מושווים ולא הפריים עצמו ). כמו כן כולל תהליכים שמיועדים למזער הפרעות כגון רעש ולמזער אפשרויות של טעות בזיהוי (מציאת התאמה לא נכונה ).

פתרון כללי המשותף לאלגוריתמים מסוג זה (4) : עפ"י ההתאמה הטובה ביותר ל DB, נבחר ה KeyFrame שהכי קרוב לפריים שנרצה לקטלג. פלט : ה Label של ה KeyFrame הנבחר. (הפעולה שרצינו לפענח מהפריים. לדוגמה : ריצה ימינה ). בדוגמה: שורה עליונה – רצף פריימים שניתן כקלט. שורה תחתונה – ההתאמה שנמצאה מה DB.

Josephine Sullivan and Stefan Carlson Algorithm of Recognizing and Tracking Human Action הרעיון המנחה שמאחורי אלגוריתם זה : פעולה כלשהי שמבוצעת עי אדם, אפשרי לזהותה באמצעות פריים בודד, מרצף של פריימים שבהם נראה האדם מבצע את הפעולה. הזיהוי יתבצע עפ"י הפוזה הספציפית של האדם בפריים.

Josephine Sullivan and Stefan Carlson Algorithm of Recognizing and Tracking Human Action (2) האלגוריתם מבצע חישוב דמיון נקודתי (הסבר בהמשך), בין כל פריים בקלט ל KeyFrames מה DB. כדי שהאלגוריתם יעבוד כראוי, כל פריים בקלט צריך להיות דומה במידה סבירה לאחד ה KeyFrames מה DB. האלגוריתם נבדק על קטע וידאו ממשחק טניס והניב תוצאות מצויינות.

Josephine Sullivan and Stefan Carlson Algorithm of Recognizing and Tracking Human Action (3) שלבי האלגוריתם בגדול : קלט: פריים מרצף הפריימים שאותו נרצה לקטלג אזור התעניינות נמצא ע"י מציאת הגוף והראש של האדם בפריים ( פרוט בהמשך ). מופעל Canny edge detector בסביבת אזור ההתעניינות על מנת למצוא את קווי המתאר של הדמות. נמצא טופולוגיה של קווי המתאר. הטופלוגיה מכילה מידע על הנקודות המהוות את הקווים ועל הקשר ביניהן ( פרוט בהמשך ). הטופולגיה מושוות לכל ה KeyFrames מה DB כדי למצוא התאמה נקודתית ואת מרחקי ההתאמה בין הפריים לכל KeyFrame. ה KeyFrame שעבורו קיבלנו את ההתאמה הטובה ביותר נבחר כמתאים. פלט : ה LABEL של ה KeyFrame המתאים ( קטלוג הפעולה).

Josephine Sullivan and Stefan Carlson Algorithm of Recognizing and Tracking Human Action (4) Head and Body Tracker : הראש והגוף מיוצגים כמרובעים, ונמצאים בתמונה עפ"י נתוני הצבע שלהם, ע"י חיפוש מרובעים בעלי הרכב צבעים מתאים.

Josephine Sullivan and Stefan Carlson Algorithm of Recognizing and Tracking Human Action (5) ייצוג הדמות : (הטופולוגיה שתשמש להשוואה הנקודתית ) מבוסס על כך שב 2 גופים הנחשבים כדומים, נוכל למפות נקודות ספציפיות בגוף אחד לנקודות בגוף האחר. ככל שההתאמה הנקודתית שנמצא בין 2 הגופים היא רבה יותר ( מספר רב יותר של נקודות ש "עוברות בצורה חלקה" בין 2 הגופים ), כך הגופים הם דומים יותר.

Josephine Sullivan and Stefan Carlson Algorithm of Recognizing and Tracking Human Action (6) מציאת הטופולוגיה שתשמש להשוואה הנקודתית (2): התהליך עצמו של מציאת הטופולוגיה וההשוואה בין הטופולוגיות : 1.לאחר שהפעלנו את Canny edge detector למציאת קווי המתאר של הדמות, ניקח את כל הקומבינציות של 4 נקודות כלשהן מהקווים. תהי A קבוצה המכילה את כל הקומבינציות האפשריות של 4 נקודות כלשהן – כל איבר ב A הוא קבוצה של 4 נקודות כאשר המידע שיש לנו על כל נקודה הוא מיקום הנקודה, והמשיק לקו בנקודה זאת.

Josephine Sullivan and Stefan Carlson Algorithm of Recognizing and Tracking Human Action (7) מציאת הטופולוגיה שתשמש להשוואה הנקודתית (3): 2.טופולוגיה של 4 נקודות היא : -סדר הנקודות – כאשר אנו מתחילים מהנקודה השמאלית וממשיכים עם כיוון השעון. -מיקום החיתוך היחסי של המשיקים לעומת הנקודות. ל 2 קבוצות הנקודות יש אותו מבנה טופולוגי : -נמספר את הנקודות. -נראה שחיתוך המשיקים ביחס לנקודות הוא זהה: *משיק 1 חותך את משיק 2 מ LD משיק 3 מ L ומשיק 4 מ LU של הנקודות שמהן הם יוצאים. *משיק 2 חותך את משיק 1 מ RU,משיק 3 מ R ואת משיק 4 מ LU. *משיק 3 חותך את משיק 1 מ RU, את 2 מ RU ואת 4 מ LU. *משיק 4 חותך את 1 מ RU את 2 מ RU ואת 3 מ L.

Josephine Sullivan and Stefan Carlson Algorithm of Recognizing and Tracking Human Action (8) מציאת הטופולוגיה שתשמש להשוואה הנקודתית (4): 3. מטריצת ההתאמה היא מטריצה שכל תא בה הוא שילוב בין 2 נקודות שונות מ 2 הגופים המשווים. -עבור כל 2 קבוצות של 4 נקודות מ 2 הגופים שהטופולוגיה שלהם נמצאה זהה נעלה את המונה ב 4 תאים המתאימים, באופן הבא :

Josephine Sullivan and Stefan Carlson Algorithm of Recognizing and Tracking Human Action (9) מציאת הטופולוגיה שתשמש להשוואה הנקודתית (5): 5. לאחר שהשוונו בין כל 2 קבוצות של 4 נקודות ב 2 הגופים, ועדכנו את המונה בתאים המתאימים עבור כל התאמה, נשתמש באלגוריתם חמדני על מטריצת ההתאמה הסופית, למציאת ההתאמה הנקודתית בין 2 הגופים: א. מצא ערך תא מקסימלי במטריצה, סמן 2 נקודות המתאימות לתא זה כמתאימות אחת לשניה. ב. מחק ערך זה מהמטריצה. ג. חזור ל א.

Josephine Sullivan and Stefan Carlson Algorithm of Recognizing and Tracking Human Action (10) מציאת הטופולוגיה שתשמש להשוואה הנקודתית (6): 6.ההתאמה הנקודתית שנמצאה ע"י האלג החמדני נקראת.Correspondence Field כל נקודה בגוף A מותאמת לנקודה בגוף B. ( גוף A הוא גוף מאחד הפריימים שהתקבלו כקלט. וגוף B הוא כל אחד מה KeyFrames. ) בצורה זאת מושווים כל הפריימים לכל ה KeyFrames ועבור כל זוג נמצא ה Correspondence Field המתאים.

Josephine Sullivan and Stefan Carlson Algorithm of Recognizing and Tracking Human Action (11) מציאת הטופולוגיה שתשמש להשוואה הנקודתית (7): 7.כעת נמצא את המרחק התאמה בין 2 הגופים : min t : הטרנספורמציה המינימלית שתביא את המרחק הכולל בין כל 2 נקודות מתאימות ב Correspondence Field לערך המינימלי. הטרנספורמציה שעבורה נקבל את מינימום המרחק : t הוא הטרנספורמציה שמצאנו, עבורו נחשב את מרחק ההתאמה:

Josephine Sullivan and Stefan Carlson Algorithm of Recognizing and Tracking Human Action (12) מציאת הטופולוגיה שתשמש להשוואה הנקודתית (8): 8.כעת לאחר חישוב מרחקי ההתאמה (Matching distances ) בין כל 2 נקודות מתאימות ב Correspondence Field. נבחר את ה KeyFrame המתאים ביותר כזה שהמרחק התאמה שלו לפריים הנבדק הוא הקטן ביותר. הפלט יהיה ה LABEL שמתאים ל KeyFrame הנבחר.

Josephine Sullivan and Stefan Carlson Algorithm of Recognizing and Tracking Human Action (13) שימוש באלגוריתם זה על מנת לעקוב אחרי חלקי הגוף השונים בכל פריים אם נרצה לעקוב אחרי חלקי הגוף השונים (מרפקים,ברכיים,ראש,כפות ידיים,כתפיים,מותניים וכו ), בכל פריים ( מציאת השלד בפריים ). נסמן את הנקודות ידנית בכל KeyFrame. ו"נעביר" את הנקודות לנקודות המתאימות לפי ה Correspondence Field שנמצא.

Josephine Sullivan and Stefan Carlson Algorithm of Recognizing and Tracking Human Action (14) שימוש באלגוריתם זה על מנת לעקוב אחרי חלקי הגוף השונים בכל פריים (2) על מנת למנוע טעויות בהעברת הנקודות נשתמש במספר אמצעים : 1. Head and Body Tracker נאפס כל תא במטריצת ההתאמה שאחת מ 2 הנקודות בו אינה קרובה לגוף או לראש שאותם מצאנו כדי לקבוע אזור התעניינות. 2.Smoothing - החלקה על מנת למנוע הפרעה ע"י רעשים. 3.הגבלת צבע – בדוגמה ניתן לראות שהנעל לבנה ולכן כל נקודה שנמצאה מתאימה אבל הצבע שלה שונה, תפסל.

Josephine Sullivan and Stefan Carlson Algorithm of Recognizing and Tracking Human Action (15) תוצאות סופיות :

Josephine Sullivan and Stefan Carlson Algorithm of Recognizing and Tracking Human Action (16) תוצאות סופיות(2) :

Recognizing Action at a Distance By Efros, Berg, Mori and Malik הקושי בזיהוי פעולה ממרחק הוא הרזולוציה הנמוכה עקב המרחק מהדמות.

Recognizing Action at a Distance By Efros, Berg, Mori and Malik (2) כללי : האלגוריתם מבוסס Optical Flow (מאפשר עקיבה אחרי תנועה ללא קשר להופעה ), החידוש בגישה באלגוריתם זה הוא שלא נתייחס לוקטורי הזרימה האופטית במיקומם המדוייק אלא כעל תבנית מרחבית כלשהי המאפיינת את התנועה. גישה זאת פותחה על מנת להתגבר על רעשים ועל חוסר תאימות (דיוק) מרחבי או זמני של התנועה ( של הפעולה ). (לדוגמה : שחקן כדורגל שרץ בזוית מעט שונה מהזווית שבה פעולת הריצה המתאימה לה ב DB שאליה נרצה להשוות,ולקטלג את הפעולה לפיה. - התאמה מרחבית. או לחלופין שחקן שרץ במהירות מעט שונה מהמהירויות שקיימות לפעולות הריצה ב DB - התאמה זמנית ). על מנת לקבל את התבנית המרחבית של התנועה, נבצע טשטוש באמצעות גאוסיין על תמונת ה Optical Flow. וכדי שלא נאבד רכיבים בשל טשטוש הרכיבים החיוביים והשליליים ביחד, נפריד את התמונה ל 4 ערוצים - רכיבים חיוביים ושליליים בנפרד לציר ה X וה Y בנפרד, לפני הטשטוש. לבסוף נקבל מאפייני תנועה שנדגמו במרחב ובזמן ומתארים את התנועה בקטעי זמן. הנקראים - Spatio-Temporal Motion Descriptors.

Recognizing Action at a Distance By Efros, Berg, Mori and Malik (3) שלבי האלגוריתם : קלט : רצף פריימים. 1.עקיבה אחר הדמויות, יצוב, ומציאת חלונות של האזורים המעניינים ( שבהן הדמויות ). מתבצע ע"י simple normalized correlation based tracker. (קורלציה פשוטה ) החלונות המעניינים : חלון לכל דמות, לכל חלון כזה נרצה לפענח את הפעולה המתבצעת בו ע"י הדמות.

Recognizing Action at a Distance By Efros, Berg, Mori and Malik (4) שלבי האלגוריתם (2) : 2.חישוב optical flow עבור כל פריים באמצעות Lucas-Kanade algorithm. הפרדה לרכיבים אנכיים ואופקיים של הזרימה האופטית. Rectified half-wave : הפרדת כל ערוץ (X,Y) ל2 ערוצים נפרדים שאינם שליליים(שליליים וחיוביים בנפרד). ביצוע Blurring באמצעות גאוסיין, וקבלת 4 הערוצים הסופיים הנקראים Motion Descriptors.

Recognizing Action at a Distance By Efros, Berg, Mori and Malik (5) שלבי האלגוריתם (3) : 3.לאחר אפיון התנועה באמצעות מציאת ה Motion Descriptors עבור כל תנועה (פעולה ), נרצה להשוות אותם ל DB, על מנת למצוא התאמה ועל מנת לקטלג את הפעולה בהתאם. נשווה את ה MD שחושבו על רצף הקלט ל MD (המקוטלגים ) שמכיל ה DB שלנו, ע"י גרסה של קורלציה מנורמלת. כדי לחשב דמיון של פריים בודד וכדי למצוא את הפריים המתאים לו מה DB, נשווה בין ה MD שחישבנו עבורו לכל ה MD של הפריימים שב DB. חישוב דמיון בין פריימים J,I : כדי לחשב דמיון בין רצף A לרצף B נמצא את מידת הדמיון בין כל הפריימים של A לפריימים של B. נשווה את MD ( את 4 הערוצים שהוא מכיל ) של כל פריים ב A לפריימים של B. באמצעות סכימה של מידת הדמיון בין כל 2 פריימים מתאימים נמצא את הדמיון הסופי בין 2 הרצפים.

Recognizing Action at a Distance By Efros, Berg, Mori and Malik (6) שלבי האלגוריתם (4) : 4. Classifing (קטלוג) יתבצע בשיטת ה K-Nearest Neighbors. נלקחות K ההתאמות הטובות ומתוכם ניקח את ה LABEL ששיך לרוב ההתאמות. -האלגוריתם נבדק על רצפים של כדורגל טניס ובלט והראה תוצאות מצויינות. -בתמונה : שורה עליונה- פריימים מרצף הוידאו. שורה תחתונה- ההתאמה הטובה ביותר מה DB.

Recognizing Action at a Distance By Efros, Berg, Mori and Malik (7) ישומים של האלגוריתם : Classification – קטלוג הפעולה – ראינו עד כה. Skeleton Transfer – נרצה למצוא את השלד של דמות האדם – יבוצע ע"י סימונו על הדמויות ב DB, והעברתו לפריים הנבדק, לפי ההתאמה שנמצאה ל DB. בשורה העליונה – רצף הקלט, בשורה האמצעית – ההתאמה שנמצאה מה DB עם השלד שסומן בה. בשורה התחתונה – השלד שסומן ב DB שמועבר לפריים מהקלט.

Recognizing Action at a Distance By Efros, Berg, Mori and Malik (8) ישומים של האלגוריתם(2) : “Do As I Do” – קלט: רצף פריימים של פעולה כלשהי (או מספר פעולות) – D (driver). DB : שחקן המבצע פעולות – T (target). D מושווה לכל האלמנטים ב T על מנת למצוא התאמה. פלט : ההתאמה שנמצאה ב T עבור הקלט D מוצגת. רצף הפריימים המתאים מה DB. בתמונה: שורה עליונה – רצף מה DB (של שחקן T ),המתאים לרצף הפעולות של ה driver בשורה התחתונה (אחד מכותבי המאמר ) רצף הפריימים של ה driver הוכנס כקלט לאלגוריתם, עבר תהליך לחישוב ה MD של כל פריים ברצף, פלט : הפריימים המתאימים ביותר מה DB, המרכיבים את רצף הפעולות התואם ע"י השחקן מה DB.

Recognizing Action at a Distance By Efros, Berg, Mori and Malik (9) ישומים של האלגוריתם(3) : “Do As I Say” – מתאים למשחקי מחשב הקלט הוא Label של פעולה מסויימת ( למשל :תנועה ימינה – בעקבות לחיצה על מקש במקלדת ). פלט : רצף פריימים מתאים מה DB של שחקן המבצע את הפעולות שמתקבלות כקלט.

לסיכום ראינו כיצד ניתן לזהות ולעקוב אחר פעולות אדם ברצף פריימים, כיצד ניתן לעקוב אחר ה"שלד" בכל פריים ולגלות מהי הפעולה המבוצעת. ראינו 2 אלגוריתמים שמבצעים זאת, בעלי נקודות הדומות ונקודות השונות ביניהם. דומות : התהליך עצמו דומה - פריים\מספר פריימים מהקלט עוברים תהליך ומושווים ל DB. שונות : הגישה – אלגוריתם ראשון מנתח פריים פריים עפ"י הפוזה של הדמות בלבד. ואלגוריתם שני מחשב Optical flow ואת התבנית ( המטושטשת ) שלו,ואותה משווה ל DB למציאת התאמה. ראינו את התוצאות של 2 האלגוריתמים ומספר ישומים שלהם.