רן פוטשטר

שקף מס' 2 Symmetry Application08/06/2005 Symmetry Application הרצאה תסקור היום 3 יישומים של סימטריה בראיה ממוחשבת : 1.Gait Sequence Analysis using Frieze Patterns 2.Robust Detection of Facial Features by Generalized Symmetry 3.Facial Asymmetry Quantification for Expression Invariant Human Identification

שקף מס' 3 Symmetry Application08/06/2005 Gait Sequence Analysis using Frieze Patterns Yanxi Liu, Robert T.Collins and Yanghai Tsin

שקף מס' 4 Symmetry Application08/06/2005 Gait Sequence Analysis using Frieze Patterns מטרה : – ניתוח רצף תמונות של אדם הולך, לשם זיהוי אדם וסגמנטציה של חלקי גוף. מושגים בסיסיים : – Gait - צורת הליכה. –Frieze - תבנית דו ממדית שחוזרת על עצמה לאורך מימד אחד.

שקף מס' 5 Symmetry Application08/06/2005 Gait Sequence Analysis using Frieze Patterns שלבים - 1. יצירת Spatio-Temporal Gait Representation( תבניות frieze). 2. ניתוח תבניות frieze שנתקבלו ממודל תלת מימדי של אדם הולך. 3.Spatio-Temporal Gait Alignment. ישור והתאמה של frieze לאחר.

שקף מס' 6 Symmetry Application08/06/2005 Spatio-Temporal Gait Representation צורת ייצוג זו נועדה להפוך נתונים מתלת - מימד לדו - מימד. 1. יוצרים רצף צלליות. תמונות בינאריות כאשר כל פיקסל של הדמות שווה לאחר שנתקבלה תמונה בינארית של הצללית מחשבים את : 1. סכום העמודות לאורך ציר ה X. 2. סכום השורות לאורך ציר ה Y. 1. כיוון ש -Fc ו -Fr מחזוריים, מתקבלת תבנית frieze כאשר tile שלה הוא המלבן הקטן ביותר שממנו נתן לבנות את כל הרצף ע " י טרנזלציה.

שקף מס' 7 Symmetry Application08/06/2005 Spatio-Temporal Gait Representation

שקף מס' 8 Symmetry Application08/06/2005 Spatio-Temporal Gait Representation

שקף מס' 9 Symmetry Application08/06/2005 ניתוח מודל תלת מימדי של אדם הולך(ליתר דיוק אישה) 1. מיון תבניות frieze לקטגוריות לפי קבוצות סימטריה. 2. מציאת מרחק לתבנית Frieze הקרובה ביותר. 3. הערכת כיוון מבט.

שקף מס' 10 Symmetry Application08/06/2005 ניתוח מודל תלת מימדי של אדם הולך(ליתר דיוק אישה)

שקף מס' 11 Symmetry Application08/06/2005 קטגוריות תבניות Frieze קבוצת סימטריה טרנזלציהסיבוב ° 180 שקוף מאוזן שקוף אנכי שיקוף - גלישה לא טריוויאלי דרגות של חופש √xxxxN √xxx√N/2 √xx√X √√xxX √√x√√N/4 √x√XXN/2 √√√√xN/4

שקף מס' 12 Symmetry Application08/06/2005 קטגריות תבניות Frieze

שקף מס' 13 Symmetry Application08/06/2005 קטגריות תבניות Frieze מצביע על כך ש הוא תת קבוצה של למשל : ניתן לראות שכל תבנית ב F3 מקיימת את התנאים של F1 כיוון ש tile+ השיקוף של F3 הוא tile של F1

שקף מס' 14 Symmetry Application08/06/2005 מרחק לתבנית Frieze הקרובה ביותר SD- מרחק סימטריה. P- תבנית frieze. Pn- תבנית frieze של קבוצת סימטריה Fn. N- מס ' הפיקסלים של tile. t- מס ' ה tiles. pi & qi- רמת העוצמה בפיקסלים. Si- סטיית התקן של תבנית frieze בפיקסל i.

שקף מס' 15 Symmetry Application08/06/2005 מרחק לתבנית Frieze הקרובה ביותר בניית תבנית frieze Q 1. אם t>1 וגם n=1 Q הוא הממוצע של ה tiles ב P. 2. אם t=1 וגם n>1 כאשר O\(P) היא תבנית הנוצרת ע " י ביצוע פעולות הסימטריה ב Fn. 3. אם t>1 וגם n>1 Q הוא הממוצע של כל Q התקבל מסעיף 2.

שקף מס' 16 Symmetry Application08/06/2005 מרחק לתבנית Frieze הקרובה ביותר קבוצות סימטריה יוצרות מבנה הירארכי כך שקבוצה היא תת קבוצה של אחרת. לכן המרחק סימטרי של P ל P3 לא גדול יותר מהמרחק ל P5. ללא טיפול, אלגוריתם הסיווג יעדיף תמיד את P3. לכן משתמשים בעיקרון של G- AIC, בהינתן 2 קבוצות סימטריה בעלי יחס של תת קבוצה נעדיף את Fm על Fn לפי המשוואות –dn ו -dm מס ' דרגות החופש של כל תבנית frieze. –r המימד המשותף (t).

שקף מס' 17 Symmetry Application08/06/2005 הערכת כיוון מבט יצרו מאגר מידע של 241 רצפי הליכה לפי זווית וגובה מהמודל. תבניות frieze מאותה נק ' מבט שייכים לאותה קבוצת סימטריה, וגם ה tiles שלהם דומים.

שקף מס' 18 Symmetry Application08/06/2005 הערכת כיוון מבט 1. בהתקבל רצף הליכה של נבדק מחשבים את תבנית frieze (P). 2. מישרים את תבניות frieze של 241 כיווני המבט. 3. מפעילים PCA על tile מ -P ולוקחים את המרכבים הלא דומיננטיים הרגישים יותר לשינוים בתבנית. 4. מוצאים את K השכנים הקרובים ביותר בתת מרחב זה ( לפי מרכבי ה -PCA). 5. בודקים אם P ו -Pi ( מ - השכנים ) נמצאים באותה קבוצת סימטריה ( אם לא מנפים את Pi). 6. לוקחים את Pi אשר רמת העוצמה של הפיקסלים שלו הכי דומה לרמת העוצמה של הפיקסלים של P.

שקף מס' 19 Symmetry Application08/06/2005 ישור תבניות Frieze קיימים שני רצפי הליכה המיוצגים ע " י זוגות של תבניות frieze ברצוננו לישר אותם מבחינה זמנית (Temporal) ומבחינה מרחבית (Spatio). על מנת שנוכל לבצע ניתוחים נוספים על סמך השוואות.

שקף מס' 20 Symmetry Application08/06/2005 ישור תבניות Frieze ישור ע " י מומנטים – מומנט של תמונת צללית בינארית – שטח הצללית ( מס ' הפיקסלים ) – מרכז מסה – מישרים את המומנט לפי מרכז מסה – כיוון שבתבניות frieze סיכמנו את העמודות או השורות, אנו מעוניינים רק במומנטים שניתן לחשב מסכום שורות או סכום עמודות

שקף מס' 21 Symmetry Application08/06/2005 ישור תבניות Frieze ישור ע " י מומנטים – אנו יכולים לחשב מתבניות frieze רק מומנטים ש i או j שווים לאפס, או שניהם שווים לאפסי. – מומנטים מסדר m11 דרושים כדי לישר את מערכת הצירים, דבר אשר אינו חשוב לנו כאשר נק ' המבט קרובה. קיים כבר ישור מערכת צירים כי אנו כבר יודעים לחשב נק ' מבט ומשתמשים בנק ' מבט דומות. – ניתן להוסיף תבנית frieze שלישית שממנה ניתן לחשב את המומנטים m11 ו -u11.

שקף מס' 22 Symmetry Application08/06/2005 ישור תבניות Frieze ישור זמני (Temporal) ע " י מומנטים –P מתקן את תדירות בצעדים. –Ø מתקן את הבדל הפזה. – מישרים את מימד הזמן כך שכל tile חדש יתחיל באותה נק '. – יוצרים מיפוי בין המשתנים t ל t’. – כיוון שתבניות frieze הן מחזוריות המיפוי הוא פשוט יחסית.

שקף מס' 23 Symmetry Application08/06/2005 ישור תבניות Frieze ישור זמני (Temporal) ע " י מומנטים – חישוב תדירות הצעדים 1. לוקחים m00(t) ו " מלבנים " ע " י חיסור הממוצע. 2. מחלקים במשתנה סטטיסטי. 3. מבצעים עליו autocorrelating ומוצאים את השיאים המתבצעים בתדר הבסיסי ביותר. 4. יכול להיווצר מצב שמוצאים חצי תדירות כיוון שמנק ' מבט מסוימות שתי הצעדים סימטריים ( ימין שמאל ). נק ' מבט אלו ידועות וכן ניתן לתקן זאת. 5.f1 תדירות m00 ו -f’1 תדירות m’00 אזי p=f1/f’1.

שקף מס' 24 Symmetry Application08/06/2005 ישור תבניות Frieze ישור זמני (Temporal) ע " י מומנטים – חישוב הפזה Ø 1. לוקחים קטע בעל אורך זמני f מ -m מכווצים או מרחבים לפי p. 3. מבצעים קורלציה עם m’ הפיגור הממוצע בין השיאים הוא הפזה.

שקף מס' 25 Symmetry Application08/06/2005 ישור תבניות Frieze ישור מרחבי (Spatio) ע " י מומנטים – לאחר שיישרנו את התבניות לפי מימד הזמן ניישר לפי המרחב. – נבצע זאת ע " י מומנטים שניתן לחשב מהתבניות.

שקף מס' 26 Symmetry Application08/06/2005 זיהוי אדם נתון מאגר מידע של רצפי הליכה מנק ' מבט אחת. נבדוק על רצף הליכה חדש לאיזה אדם הוא שייך 1. יוצרים תבנית frieze לכל רצף הליכה. 2. מעוותים אותם בעזרת ישור זמני לתדר ופזה קאנונים. 3. משווים tiles מצועדים שונים בעזרת התאמה מנורמלת (normalized correlation). 4. מוצאים את האדם לפי ציון ההתאמה.

שקף מס' 27 Symmetry Application08/06/2005 זיהוי אדם - תוצאות ניסו את הזיהוי על 25 נבדקים. תמונה שמאלית – תוצאות זיהוי בודקים עם קצב הליכה איטי – על קצב הליכה איטי, 100% התאמה. תמונה אמצעית – תוצאות זיהוי עם קצב הליכה איטי – על קצב הליכה מהיר, 100% התאמה. תמונה ימנית – תוצאות זיהוי עם קצב הליכה איטי – על הליכה עם כדור, 81% התאמה.

שקף מס' 28 Symmetry Application08/06/2005 זיהוי חלקי גוף יוצרים תבניות frieze ממודל ההליכה. מישרים אותם לפי תבנית frieze של האדם המצולם. משליכים את צללית המודל על צללית האדם. דוגמים בצורה אחידה לאורך קו המתאר של שני הצלליות ומבצעים טרנספורמציה על צללית המודל.

שקף מס' 29 Symmetry Application08/06/2005 זיהוי חלקי גוף - תוצאות

שקף מס' 30 Symmetry Application08/06/2005 זיהוי חלקי גוף - תוצאות

שקף מס' 31 Symmetry Application08/06/2005 זיהוי חלקי גוף - תוצאות

שקף מס' 32 Symmetry Application08/06/2005 Robust Detection of Facial Features by Generalized Symmetry Daniel Reisfeld and Yehezkel Yeshurun

שקף מס' 33 Symmetry Application08/06/2005 Robust Detection of Facial Features by Generalized Symmetry מטרה : – שיפור זיהוי תווי פנים ( עיניים, פה ) ע " י אופרטור סימטריה – זיהוי תווי פנים יכול לשמש כשלב מוקדם לאפליקציות זיהוי פרצופים. נרמול התמונה ע " י מיקום תווי הפנים. זיהוי הפנים ע " י השוואת תווי הפנים ( למשל עיניים ).

שקף מס' 34 Symmetry Application08/06/2005 שימושים שורה עליונה סדר התמונות משמאל לימין 1. התמונה המקורית. 2. השלכה של התמונה על eigenvectors (PCA) eigenvectors ראשונים eigenvectors ראשונים. שורה תחתונה – אותם פעולות רק לאחר שנרמלנו את התמונה לפי מיקום העיניים והפה.

שקף מס' 35 Symmetry Application08/06/2005 אופרטור סימטריה נק ' כלשהי נגזרות העוצמה וקטור שייך לנק ' עוצמת התנועה של הוקטור כיוון התנועה של הוקטור קבוצת הנק ' הסימטריות לפי P פונקצית משקל המרחק

שקף מס' 36 Symmetry Application08/06/2005 אופרטור סימטריה לכל שתי נק ' pi ו -pj, αij היא הזווית בין קו האופק לקו העובר ביניהם. פונקצית משקל הפזה התמורה של נק ' pi ו -pj מידת הסימטריה של כל נק ' p כיוון הסימטריה β(p) הוא pi pj עם התרומה הגדולה ביותר. הגדרת הסימטריה של כל נק '

שקף מס' 37 Symmetry Application08/06/2005 מציאת מיקום העיניים והפה 1. התמונה מקורית. 2. שפות שתקבלו מקונבולוציה עם נגזרות של מסכה גאוסנית בשני כיוונים.

שקף מס' 38 Symmetry Application08/06/2005 מציאת מיקום העיניים והפה 3. מוצאים את קו האמצע של הפנים – מבצעים קורלציה גלובלית של נגזרות העוצמה של החצי השמאלי והימני של התמונה. – מתבצע בכיוונים שונים והקו אמצע נקבע לפי הקורלציה הטובה ביותר. – לאחר מציאת קו האמצע מצפים שהעיניים יהיו משני צדי הקו והפה יחצה את הקו. ושיהיה יחס גיאומטרי בין השלושה. 4. מבצעים את אופרטור הסימטריה – התוצאה דומה לייצוג שפות ולכן ניתן לעבד בטכניקות דומות כמו edge linking.

שקף מס' 39 Symmetry Application08/06/2005 מציאת מיקום העיניים והפה 5. השלכה של מפת הסימטריה לאורך האנך לקו האמצע. 6. הסימטריה המצטברת 1. כל נק ' סימטריה מוסיפה לערך המצטבר שלה חלק מהערך המצטבר של השכנים השמאליים שלה באופן רקורסיבי. 2. כך גם הערכים של השכנים הימנים. 3. שני הערכים ( ימין ושמאל ) מוכפלים. כך כל מרכז קלסטר סימטריה נהפך למקסימום מקומי.

שקף מס' 40 Symmetry Application08/06/2005 מציאת מיקום העיניים והפה 7. דרך נוספת לצמצם את המידע במפת הסימטריה היא לדכא את ערכי הסימטריה אשר לא מכסימליים בכיוון האנכי לכיוון הסימטריה שלהם. 8. ניתן לשמור את ערכי השפות התורמות ערך סימטרי גבוה, למען סגמנטציה.

שקף מס' 41 Symmetry Application08/06/2005 תוצאות תוצאות האלגוריתם על תמונות, סימון העיניים והפה.

שקף מס' 42 Symmetry Application08/06/2005 Facial Asymmetry Quantification for Expression Invariant Human Identification Yanxi Liu, Karen L. Schmidt, Jeffery F. Cohn and Sinjini Mitra

שקף מס' 43 Symmetry Application08/06/2005 Facial Asymmetry Quantification for Expression Invariant Human Identification שיפור אפליקציות לזיהוי פנים. קביעת צורות של מדידת אסימטריה בפרצוף החישובית פשוטה. שילוב מידע האסימטריה עם אפליקציות לזיהוי פנים (EigenFace, FisherFace).

שקף מס' 44 Symmetry Application08/06/2005 מוטיבציה פנים אינם סימטריים. האסימטריה גוברת בזמן הבעות. אסימטריה בפנים כנראה תורמת לזיהוי פרצופים אצל בני אדם. האם אסימטריה יכולה לתרום לזיהוי פרצופים במכונות.

שקף מס' 45 Symmetry Application08/06/2005 מדידה של כמות האסימטריה הפרש העוצמות D-face: דמיון כיוון השפות S-face: ככל שערך D-face גבוה יותר כך הפנים אסימטריות יותר. ככל שערך S-face גבוה יותר כך הפנים סימטריות יותר. S-face סימטריות ( נובע מצורת הבנייה ) ו D-face הופכיות לכן חצי מהן מכילות את כל המידע הדרוש. –I ו -I’ מיצגים חצי פרצוף. –Ie ו -I’e מיצגים את השפות של חצי פרצוף. – הזוית בין שני כיווני השפות.

שקף מס' 46 Symmetry Application08/06/2005 מדידה של כמות האסימטריה התמונה השמאלית – פרצוף מנורמל התמונה האמצעית – D-face התמונה הימנית – S-face

שקף מס' 47 Symmetry Application08/06/2005 מדידה של כמות האסימטריה

שקף מס' 48 Symmetry Application08/06/2005 הורדת מימד הנתונים אנחנו מחשבים את ממוצע הערכים של D-face ו -S-face לאורך הצירים Dx - ממוצע העמודות של D – תמונה עליונה Dy – ממוצע השורות של D – תמונה תחתונה Sx – ממוצע העמודות של S Sy – ממוצע השורות של S

שקף מס' 49 Symmetry Application08/06/2005 Augmented variance ratio (AVR)

שקף מס' 50 Symmetry Application08/06/2005 Augmented variance ratio (AVR)

שקף מס' 51 Symmetry Application08/06/2005 AsymmetryFaces D ו -S הם הפעלת PCA על D-face ו -S-face ולקיחת k הרכיבים העיקריים האחרים על 95% מהשוני במידע.

שקף מס' 52 Symmetry Application08/06/2005 שימוש ב AsymmetryFaces(AF) לזיהוי פרצופים 1. מחשבים את AVR לכל מימד feature ומסדרים את ה features בסדר לא עולה. 2. מבצעים forward feature subset selection מנקה מידע לא קשור ומידע שחוזר על עצמו. 3. מבצעים Linear Discriminant Analysis (LDA) ובודקים את המידע בתת מרחב הנבחר. FF(FisherFace)+AF מוספים את רכבי ה PCA של FF לשלב 1 ( בסדר קודם רכיבי FF ולאחר מכן רכיבי AF).

שקף מס' 53 Symmetry Application08/06/2005 תוצאות

שקף מס' 54 Symmetry Application08/06/2005 סיכום סקרנו בהרצאה 3 יישומים של סימטריה : 1. מוצאים תבנית סימטרית מסרט, ואז בעזרת פעולות של מציאת קבוצת סימטריה ומדידת מרחק סימטריה ניתן לזהות אדם וחלקי גוף. 2. מוצאים אזורים מענייניים בתמונה לפי מידת הסימטריה שלהם. 3. שיפור זיהוי פרצופים בעזרת מדידת כמות האסימטריה של הפרצוף.

שקף מס' 55 Symmetry Application08/06/2005 ביבליוגרפיה Gait Sequence Analysis using Frieze Patterns –Yanxi Liu, Robert T.Collins and Yanghai Tsin Robust Detection of Facial Features by Generalized Symmetry –Daniel Reisfeld and Yehezkel Yeshurun Facial Asymmetry Quantification for Expression Invariant Human Identification –Yanxi Liu, Karen L. Schmidt, Jeffery F. Cohn and Sinjini Mitra A tutorial on Principal Components Analysis –Lindsay I Smith Eigenface-based facial recognition –Dimitri PISSARENKO