בניית ממשק למחשב המבוסס על פוזיציות של כף - יד בכפפה צבעונית מגישים : נוימן ליאור גלוזמן אלכס מנחה : מר טודטפלד ארי נובמבר 2004

מטרות הפרוייקט מטרה ראשית פיתוח ממשק מחשב חדש מבוסס מצלמה, אשר מצלמת את כף ידו של המשתמש. כף היד נמצאת בתוך כפפה שעליה סמנים צבעוניים המשמשים לזיהוי. מטרות ביניים  בניית כלי עבודה שיאפשרו עבודה נוחה בפיתוח הממשק  זיהוי מגוון רחב של פוזיציות של כף היד  בניית ישום שידגים את השימוש בממשק

תיאור פיסי של המערכת  כפפה עם סמנים צבעוניים המודבקים עליה.  מצלמה צבעונית הצופה כלפי מטה, מותקנת על עמדה מתאימה.  כרטיס ללכידת תמונות – Rio frame grabber  מראה המיועדת לתת אפשרות לזיהוי מגוון רחב יותר של פוזיציות  בריסטול - לצמצום כמות הפרעות הרקע - לצמצום כיולים דינאמיים אוטומטיים של המצלמה

חלון מאגר פוזיציות חלון וידאו לפני ואחרי עיבוד חלון בדיקת פוזיציות ב - Real-time

מאגר הפוזיציות המזוהות top fist in pointlow hi in two top idle in point right top pick righttop two top point

מאגר הפוזיציות המזוהות hiin pick top point left in idlein click המשך

סידור הצבעים על הכפפה בחרנו 5 צבעים אליהם התייחסנו במבט מלמעלה בנוסף לכך התייחסנו ל - 2 צבעים במראה ( כחול וסגול ). זיהוי הפוזיציות יתבסס על שני שלבים : סינון על פי נוכחות צבעים סינון על פי מדידת מרחקים בין צבעים

זיהוי המבוסס על נוכחות צבעים שיטת ה- Good/Bad colors Good colors אלו הצבעים שחייבים להופיע על המסך לשם זיהוי פוזיציה מסוימת. Bad colors אלו הצבעים שאם יופיעו הפוזיציה לא תזוהה. Screen colors אלו הצבעים שמופיעים בפועל על המסך. פסילת פוזיציה מתבצעת באחד מהתנאים הללו- (G and S ≠ G) או (B and S ≠ 0) מוטיבציה ?

שאיפה: בשתי התמונות יזוהה אותו מצב ← צורך בפונקציונאליות של Don’t-Care ← שיטת ה- Good/Bad colors שתי תמונות דומות, עם הרכב-צבעים לא זהה

זיהוי המבוסס על מרחקים בין צבעים בחרנו 6 מרחקים אליהם התייחסנו - 5 מרחקים במבט מלמעלה - מרחק אחד במבט מן המראה הנוסחה לחישוב ובדיקת המרחק ה - i כלומר המרחק מתאים אם הפרשו מהמרחק הצפוי נמצא ב"שרוול" המותר המרחק מחוץ לתחום Ideal - Tol Ideal + Tol ideal (normalized) המרחק בתחום המותר המרחק מחוץ לתחום

חילוץ מאפיינים מן התמונה (1) עבור כל פיקסל בתמונה... כן על פי הצבע נעדכן את סכום שיעורי ה-x 2.סכום שיעורי ה-y 3.מספר הפיקסלים בצבע זה האם צבע הפיקסל מתאים לאחד הצבעים שאנו מחפשים ? (x, y, Color) בסיום המעבר על כל הפיקסלים בתמונה – לכל צבע נצברו שלושה סכומים

חילוץ מאפיינים מן התמונה (2) לכל צבע... 1.סכום שיעורי ה-x 2.סכום שיעורי ה-y 3.מספר הפיקסלים בצבע זה - ? לא הצבע איננו קיים בתמונה כן לכל צבע בנפרד... * חישוב מרכזי מסה * חישובי מרחקים

דיאגרמת בלוקים פתרון נאיבי תמונה דגימה של כל גודל התמונה זהה : פוזיציה שעברה סינון מציאת מרכזי מסה של צבעי הסמנים סינון פוזיציות עם מטריצת - מרחקים שונה מהדגום סינון פוזיציות עם הֶרְכֵּב - צבעים שונה מהדגום כל פוזיציה מוגדרת ע"י: 1.הצבעים הנראים בה ממבט המצלמה 2.מטריצת מרחקים של כל הצבעים הנראים (סימטרית)

תמונה דגימה של כל גודל התמונה סינון פוזיציות עם מטריצת - מרחקים שונה מהדגום זהה פוזיציה שעברה סינון מציאת מרכזי מסה של צבעי הסמנים סינון פוזיציות עם הֶרְכֵּב - צבעים שונה מהדגום פתרון נאיבי - בעיות תאורה משתנה ← זיהוי צבעים בעייתי ← חישוב מרכזי-מסה בעייתי המצלמה מבצעת איזון לבן אוטומטי ((AWB ←כנ"ל רעש ברחבי התמונה, הרבה רעש בשוליים ← חישוב מרכזי-מסה בעייתי מטריצת המרחקים גדולה שלא לצורך – עבור 7 צבעים מטריצה 7x7 מכילה רק 21 מדידות שונות מתוך 49 האיברים במטריצה. כמו כן כנראה שמתוך 21 המדידות רק חלק נחוצות ← סיבוך העבודה

רזוליציית הדגימה x 288 פיקסלים ← עיבוד התמונה מתבצע על כל נקודה מבין 2,760,000 נקודות בקירוב ← עיבוד ארוך ← תגובה איטית יחסית עבודה במקומות שונים - גובה מצלמה משתנה ←מדידה לא עקבית של מרחקים אמביוולנטיות - יתכן שיותר מפוזיציה אחת תתאים (כלומר תעבור את הסינון) פתרון נאיבי - בעיות ( המשך ) תמונה דגימה של כל גודל התמונה סינון פוזיציות עם מטריצת - מרחקים שונה מהדגום זהה פוזיציה שעברה סינון מציאת מרכזי מסה של צבעי הסמנים סינון פוזיציות עם הֶרְכֵּב - צבעים שונה מהדגום

פתרון בעיית תאורה משתנה ובעיית איזון - לבן - אוטומטי של המצלמה המרה מ- RGB ל- HSV  השפעת עוצמת ההארה בחדר הוקטנה – עדיין קיימת! בדיקת אפשרות של איזון הופכי למצלמה *  הרעיון נגנז – דרוש מחקר נוסף ויידרשו סריקות נוספות על פני התמונה השפעה על ביצועים ביצועי Gamma-Correction לתמונה המצולמת (כל הפיקסלים מועלים באותה החזקה, המעריך קרוב ל-1)  שימושי במקרים מסוימים, במעבדה לא נזקקנו לתיקון. מפאת עלות הביצועים ניתן לנטרל את המסנן לחלוטין. שימוש ברקע לבן לתמונה המצולמת  פשוט, זול, עובד תמיד... הצעות לפתרון

פתרון בעיות רעש בתמונה באופן כללי התמונה במישור HSV רועשת חיתוך בסף של התמונה במרחב HSV  ניתן לבצע מס' חיתוכים-בסף על פי צבעי הסמנים – מחייב בחירה רובסטית של הצבעים וכן ניסוי וטעייה. בנוסף יידרשו כיולים. קטימת מעט משולי התמונה, שנתגלו כרועשים במיוחד.  אזורי השוליים אינם בעלי חשיבות מכרעת – הרעש מחוסל עם שיפור בביצועים הצעות לפתרון

פתרון בעיית עקביות במדידת מרחקים הצעה לפתרון נרמול כל המדידות ע"י פקטור הניתן לכיול בזמן אמת  במידה שמעוניינים לשנות את גובה המצלמה מספיק כיול בודד

פתרון בעיית מטריצת המרחקים בחירת המרחקים הנחוצים בלבד  צמצמנו את מספר המרחקים הנשמרים והנבדקים מכ-49 לכ-6 או פחות, בהתאם לצורך. ישנן פוזיציות שלא זקוקות לכל 6 המרחקים כלל. הצעה לפתרון

פתרון בעיית תגובה איטית (1) העיבוד המקדים מתרחש לכל פיקסל שנדגם חוק Amdahl מנחה אותנו להאיץ את הפעולות השכיחות: מועמד טוב לשיפור  האצת ההמרה המקורית * ל-:HSV חישוב בשלמים בלבד  מדידת FPS כל מס' שניות: אינדיקציה על תהליכי עיבוד "יקרים"  אפשרות לנטרול מראש של תהליכי עיבוד בלתי נחוצים  אפשרות לקטימת שוליים רחבים יותר (מעבר לנדרש לצורך סינון רעשים) *

פתרון בעיית תגובה איטית (2) Down-Sampling  דילוג על כל פיקסל שני בכל אחד משני הצירים – מתקבלת דגימה קרטזית בצפיפות מרחבית נמוכה פי 4 הצעות לפתרון דילוג על כל אלכסון שני בתמונה – מתקבלת דגימה בשריג אלכסוני בצפיפות מרחבית נמוכה פי 2

פתרון בעיית תגובה איטית (3) Trade-Off ? שיפור בביצועים ירידה ברובסטיות בזיהוי צבעים ומרכזים  שתי הדרכים פשוטות למימוש! בחרנו בדרך הראשונה (דילוג על כל פיקסל שני בכל אחד משני מהצירים) מסתבר שהאלגוריתם לא סובל במיוחד מהירידה ברובסטיות, לעומת זאת השיפור בביצועים מורגש

פתרון בעיית ריבוי פוזיציות מתאימות הגדרת מדד להתאמה של פוזיציה; בחירה של זו הממקסמת את המדד המדד שנבחר הוא מינימום השגיאה המוחלטת: (ה- tolerances אינם משחקים כאן תפקיד) הצעה לפתרון תזכורת הבעיה מתעוררת רק עבור הפוזיציות שעברו סינון לפי הרכב-הצבעים והמרחקים !

דיאגרמת בלוקים סיכום הפתרון שנבחר תמונה על רקע לבן מעבר מ RGB ל HSV. אפשרות לתיקון gamma קטימת שוליים וחיתוך בסף זהה את כל הפוזיציות שעברו סינון ומתוכן את זו עם מינימום השגיאה דגימה מדוללת - רבע מהנקודות סינון פוזיציות עם וקטור - מרחקים שונה מהדגום, שימוש ב tolerance סינון פוזיציות עם הֶרְכֵּב - צבעים שונה מהדגום. צבעים טובים / רעים נרמול מרחק בין המצלמה לכפפה מציאת מרכזי מסה של צבעי הסמנים

משחק - הדגמה תמצית הרעיון  נבנה משחק קטן של זיהוי פוזיציות  עד ליצירת המשחק מנוע הזיהוי הפיק תוצאות רק עבור המסך  כעת מנוע הזיהוי משמש כשרת עבור המשחק  המנוע יכול לשרת "לקוחות" נוספים

תוצאות זיהוי מוצלח של 14 פוזיציות הוכחת כדאיות של שימוש במראה המע' לא נבדקה בפועל עם משתמשים נוספים, אך ניתן לכייל את המערכת לכל משתמש זיהוי בזמן-אמת ובקצב מקסימלי במגבלות החומרה קיים Trade-Off בין רגישות לבעיות תאורה לבין מס' הצבעים על הכפפה יצרנו מעין סביבת עבודה עבור החומרה הנתונה, בה ניתן לעשות שימוש גם בעתיד

הכנסת אלמנט של למידה למערכת זיהוי תנועה = התייחסות לזמני-מעבר בין פוזיציות, הוספת "זיכרון" לזיהוי מעבר לחישוב של מרחקים יחסיים במקום המרחקים האבסולוטיים הקיימים ובמקום נרמול מרחקים. החלפת פונקצית המרחק האוקלידי בפונקציה אחרת של נקודות - מאפשר עלייה לממדים גבוהים יותר של הקלט: -על מנת לשפר את הזיהוי -על מנת לתמוך בחילוץ נתונים נוספים מהתמונה הוספת תיעוד בפורמט UML. רעיונות להמשך / הרחבת הפרויקט מסך וידאו – ממשק שימושי, בעיקר (ולא רק) אם מדובר ב-HSV. התוכנה כולה יכולה לשמש לזיהוי/מעקב אחר עצמים צבעוניים, למשל: זיהוי קיום של עצמים בתמונה, התקרבות/התנגשות וכד' כיצד ניתן להשתמש בעבודה שנעשתה ? רעיונות להמשך...

ת ו ד ה !ת ו ד ה ! ת ו ד ה !ת ו ד ה ! לארי קובי ואורלי לארי קובי ואורלי נהנינו...