זיהוי צורת הליכה מוידיאו

מוטיבציה זיהוי אנשים ומינם יתרונות לעומת שיטות זיהוי אחרות: - אין צורך במגע עם הנבדק (כמו בטביעת אצבע) - קשה להסוות צורת הליכה (לעומת אפשרות כיסוי הפנים בזיהוי פנים) - ניתנת לשימוש מרחוק, ברזולוציה נמוכה יש גם חסרונות... מושפעת משכרות, הריון, מחלות, סוג נעל, ומשא

רקע מה זה הליכה? מחקרים הראו שבני אדם יכולים לזהות מכרים שלהם על פי צורת ההליכה. יכולים להבחין בין גבר לאישה הליכה – מידת הנפת הזרוע, בגדים, מחזוריות הצעד, גבר מטלטל את הכתפיים יותר, אישה מנדנדת יותר את האגן

מה בשעה הקרובה... זיהוי ע"י אנליזת ההליכה (L. Lee, W.E.L Grimson) זיהוי ע"י אנליזת סימטריה (James B., Mark S.N., John N.C.) אנליזת מחזור תנועה (J.H. Yoo,Mark S.N.,Chris J.H.)

זיהוי ע"י אנליזת ההליכה Gate Analysis for Recognition and Classification (L. Lee, W.E.L Grimson) הרעיון: ייצוג ההליכה של אדם ע"י חלוקה של צללית ההולך ל 7 אליפסות ואיסוף מידע עליהן לאורך זמן.

זיהוי ע"י אנליזת ההליכה - המשך עבור כל אליפסה נשמור: f(ri) = (xi, yi, li, αi), where i = 1, . . . , 7. המידע לאורך זמן יישמר כמאפיין ממוצע המראה: s = (meanj(hj), meanj(Fj ), stdj(Fj)) כאשר: Fj = (f(r1), . . . , f(r7)) וכמאפיין הספקטראלי: t = (Ωd, |Xi(Ωd)|, phase(Xi(Ωd))) כאשר: Xi = FourierTransform(Fj=1...last(f(ri))) הממוצע של כל האליפסות מתאר את צורת הגוף הממוצעת סטיית התקן STD מתארת את השינוי של כל אזור דלתא – תדר ההליכה הדומיננטי עבור רצף הליכה ערך מוחלט – מודד את כמות השינוי בכל אליפסה הנובעת מהתנועה פאזה – מודד את הפרש הזמנים בין איזורים שונים של הצללית

הנוסחאות Dij = 1/Sqrt(2ps) exp(-((||Pi – Pj||)/2s)) Phij = (1-cos(qi +qj – 2aij)) * (1 – cos(qi-qj)) a)i,j) = atan((yi – yj) / (xi-xj))

זיהוי ע"י אנליזת ההליכה - המשך האם לכל המאפיינים יכולת הבחנה דומה? לאחר הפעלת אנליזת שונות (ANOVA) על המאפיינים מתקבל דירוג של המאפיינים לפי מידת ההשפעה שלהם. מניחים לשם הפשטות שכל המאפיינים בלתי תלויים ANOVA (analysis of variance)– אוסף של מודלים סטטיסטים למדידת שונות

תיאור הניסוי תנאי הניסוי: סביבה פנימית, רקע משתנה, במשך 4 ימים, 24 נבדקים (10 נשים ו 14 גברים), מצלמת וידאו אנכית למסלול ההליכה נתונים נוספים נאספו מבסיס הנתונים של CMU המכיל 25 נבדקים הולכים על הליכון 4-22 רצפים לכל נבדק,3 מחזורי הליכה, 15 פריימים לשנייה

תיאור הניסוי

תיאור הניסוי - המשך סגמנטציה של ההולך מהרקע (“Adaptive background” C Stauffer & W.Grimson ) וחישוב הוקטורים מידול של כל פיקסל בנפרד ע"י גאוסיאן K הסגמנטציה איננה מושלמת – גם הצל לדוגמא נכנס – אבל החישוב סובל את זה

Ds(x, y) = (x − y)t S−1(x − y) תיאור הניסוי - המשך השוואת וקטורים ע"י שימוש ב Mahalanobis :distance המרחק בין שתי נקודות x = (x1, . . . , xp)t ו- y = (y1, . . . , yp)t במרחב Rp: Ds(x, y) = (x − y)t S−1(x − y) שיטת המרחק הזו לוקחת בחשבון את יחס המרחקים בתוך סט הוקטורים הידוע

תיאור הניסוי - המשך שאלת הזיהוי: האם האדם הנכון נמצא ב n ההתאמות הראשונות בדירוג? ציר x – דרגת ההתאמות (n) ציר y – אחוז ההצלחה בזיהוי שתי בדיקות: 1. בדיקה כנגד רצפי ההליכה בכל הימים 2. בדיקה כנגד רצפי ההליכה בכל הימים מלבד היום שבו הוקלט הנבדק אור שונה, רקע שונה, סוג בגד שונה

תוצאות 1: זיהוי אנשים בבדיקה הראשונה תוצאות הקרובות ל 100%... בבדיקה השנייה: הניסוי הספקטרלי פחות טוב בבדיקה הראשונה אך יותר טוב בשנייה – כי ההבדל בין הימים היה בלבוש והמאפיין הספקטרלי פחות מושפע מכך, הוא מושפע משינויים בצורה ובזמנים בין אזורים שונים

תוצאות 1: זיהוי אנשים מאפיין ממוצע מראה: מאפיין ספקטראלי:

תוצאות 2: זיהוי מין זוהו 6 מאפיינים המבדילים בצורה הטובה ביותר בין גברים לנשים: ANOVA – אוסף של מודלים סטאטיסטיים

תוצאות 2: זיהוי מין - המשך בדיקה על פי בחירה ראנדומלית של רצף בדיקה על פי בחירה ראנדומלית של נבדק SVM רצף ראנדומלי – בחירה רנדומלית של כמחצית מהוקטורים ללא חשיבות לזהות הנבדק והשוואה למחצית הנותרת אדם ראנדומאלי – בחירה רנדומלית של מחצית הנבדקים ובדיקה על המחצית השנייה שימוש ב support vector machines (SVM) – סט של פונקציות למידה המשמשות ל classification

מסקנות ההשפעה הכי גדולה על התוצאות היתה סוג הלבוש של הנבדקים שילוב חכם של מאפיין ממוצע המראה עם המאפיין הספקטאלי ייתן תוצאות טובות יותר שילוב זיהוי הליכה עם זיהוי פנים יוכל להסיר את מגבלת הלבוש יש אנשים שקל לזהות את ההליכה שלהם יותר מאנשים אחרים ההבדל בין המינים הוא כנראה ליניארי... 1. לכן ככל שבסיס הנתונים מכיל את הנבדק בסגנונות לבוש רבים יותר, התוצאה טובה יותר 2. זיהוי קל - השוואה של כל נבדק לכל שאר הנבדקים הובילה למסקנה

זיהוי ע"י אנליזת סימטריה אובייקט נקרא סימטרי אם הצורה שלו נשארת ללא שינוי לאחר פעולות סימטריות (לדוגמא שיקוף, שינוי גודל). אופרטור סימטריה – משתמש ברצף קצוות של דמות על מנת לחשב גודל סימטריה M)Pk) = ΣC(Pi,Pj) C(Pi,Pj)=Di,jPhi,jIiIjכאשר: Ph, D – מרחק ופאזה בין שתי הנקודות Ij – לוגריתם גודל הסימטריה של j M – סכום התרומות של נקודות I j ש k הוא ציר הסימטריה שלהן

חישוב אופרטור סימטריה

חישוב חתימת הליכה מצללית החסרת הרקע (b) וזיהוי קצוות (c) הפעלת אופרטור הסימטריה ליצירת מפות סימטריה (d) החסרת רקע ע"י חישוב חציון של 5 תמונות אפשרי כי המצלמה סטאטית אין תנועה ברקע הליכה בקצב קבוע זיהוי קצוות ע"י אופרטור סובל

חישוב חתימת הליכה מצללית - המשך חישוב חתימת הליכה ע"י מיצוע מפות הסימטריה: GS = (ΣSj)/ N N – מספר מפות הסימטריה N N J=1

חישוב חתימת הליכה משטף אופטי החסרת רקע וחישוב שטף אופטי ע"י החסרת שתי צלליות עוקבות הפעלת אופרטור סימטריה וחישוב ממוצע

זיהוי הליכה החלת טרנספורם פורייה על החתימות FD(u,v) = SSGS(x,y)exp(-j2p/N(ux + vy)) לאחר מכן פילטר מעביר נמוכים על מנת להקטין את הרגישות לרכיבים בעלי תדירות גבוהה FD’(u,v) = { FD(u,v) if(u^2 + v^2) <= R^2 0 othewise הזיהוי מתבצע ע"י השוואת מרחק אוקלידי: SDi,j = S|| (|FD’ix,y| - |FD’jx,y| ) ||

ניסוי 1 נעשה שימוש בשלושה בסיסי נתונים שניים של SOTON ו UCSD הטבלה עבור R>3 CCR – correct classification rates ברור שככל שבסיס הנתונים יותר גדול, כך הטעות גדלה

אחוז זיהוי לעומת דרגת פילטר כאשר לוקחים פילטר קטן מידי מסירים למעשה קומפונטות זיהוי חשובות

ניסוי 2 אותו תהליך התבצע על רצפי הליכה, אולם לאחר החסרת מספר תמונות ככל שאחוז ההחסרה עולה כך הנבדק נמצא דומה ליותר נבדקים אחרים ההחסרה לא פגעה בגלל המיצוע של מפות הסימטרים

ניסוי 3 הסתרה/הוספה לחלק מהתמונה הסתרה ע"י מלבן 3 גדלים (בין 13-39 אחוז מהתמונה) אותו אזור ברצף בצבע הזה לצבע האוביקט או הרקע תוצאות: A – הצליח עבור K=3 C – נכשל כי משנה את הצורה של הגוף D B – נכשלו עבור רעש – עד 5% זוהה עד 10% זוהה עבור K=1 מעל 20% אין זיהוי

מסקנות לצללית האדם מאפיינים סימטריים ייחודיים הזיהו לא יפגע אם האדם עובר מאחורי מסתור אנכי לא גדול השיטה עובדת גם עם פריימים חסרים או רעש מוגבל

אנליזת מחזור תנועה מבחינה תאורטית הליכת אדם היא צורה של תנועה מחזורית. ניתן לחזות את התנועה של אדם בתוך מחזור הליכה מחזור מחולק לשני חלקים עיקריים: עמידה והנפה תנועה מחזורית - במיוחד כשמסתכלים מהצד עמידה – כל זמן שהרגל על הקרקע, 60% מזמננו הנפה – מתחיל כשהרגל מונפת, 40%

אנליזת מחזור תנועה מחזור התנועה:

אנליזת מחזור תנועה פונקציונלית, מחלקים את הגוף לשני סוגי איברים: חלקים "תנועתיים" (Locomotor) וחלקים "נוסעים" (Passenger) קיימת הערכה על מיקומו של כל חלק במחזור התנועה

אנליזת מחזור תנועה ביצוע הטלה על החלקים בכל תמונה

אנליזת מחזור תנועה רצף תמונות יוצר את המחזוריות של תנועת הצעד

אנליזת מחזור תנועה בהשוואה ל... החסרת הרקע ע"י שימוש בקצוות הדמות תמונה B לאחר זיהוי קצוות – עדיין יש אזורים קטנים מסומנים בגלל שינויי תאורה תמונה C – לאחר מתיחת קווים אופקיים ואנכיים  מספר מועמדים לגוף

אופן החסרת הרקע זיהוי קצוות: החלקת רעש על ידי מסיכה זיהוי אובייקטים בתמונה בחירת הדמות על בסיס ידע של גודל וצורה

השוואת השיטות 200 דמויות שצולמו בתוך מבנה ובחוץ

תוצאות הצלחה = האם האזור שזוהה מכיל את כל גוף האדם או לא

רפרנסים Gate Analysis for Recognition and Classification /L. Lee, W.E.L Grimson Automatic gait recognition by symmetry analysis/

The End… http://www.youtube.com/watch?v=VTgeNw1guBs&feature=related http://www.youtube.com/watch?v=WT57MGaR02I&feature=related http://www.youtube.com/watch?v=VTgeNw1guBs&feature=related