Shadow Removal - Seminar The perception of cast shadow מרצה: ד"ר חגית הל-אור מגישה: שירה כהן
הקדמה החשיבות של הצל הייתה קיימת כבר בעבר. הצל תמיד הוערך בדימיון שלו לאובייקט האמיתי. לאונרדו דה וינצ'י היה הראשון שהתחיל לחקור את הצל באופן מעמיק בשנת 1490, ותאר איך אפשר להשתמש באור וצל כדי ליצור תלת מימד.
הגדרות צל – צל הוא אזור במשטח שלא חשוף לאילומינציה ממקור אור. ישנם שני סוגי צל: 1.Attach shadow – צל שנוצר על האובייקט שחוסם את האור הנופל עליו. 2. Cast shadow – צל מוטל, צל שנוצר כאשר משטח אחד חוסם למשטח אחר את מקור האור, והדמות של המשטח המטיל נוצרת על המשטח החסום. הצל המוטל יהיה מוקף באור. penumbras– גלי הצל המקיפים את הצל המוטל
הגדרות Attach shadowCast shadow צורת המשטח עליו הוא נוצר. - צורת המשטח המטיל. - צורת המשטח המוטל. - הסידור של המשטחים במרחב. אינפורמציה
הגדרות Spatial layout – סידור מרחבי, מתייחס למערכת היחסים בין שני משטחים, מבחינה איכותית (אובייטק A נמצא מימין לאובייטק B) ומבחינה כמותית (המרחק בין אובייטק A לאובייטק B 5 ס"מ).
Cast shadow - צל מוטל כאשר אובייקט מטיל את הצל על משטח הצל המוטל יכול לתת אינפורמציה לגבי: 1. הצורה של האובייקט המטיל. 2. הצורה של המשטח עליו מוטל הצל. 3. הסידור המרחבי של האובייקט ביחס למשטח.
Cast shadows cues 1.Static cue for surface shape 2.Dynamic cue for surface shape 3.Static cue for spatial layout 4.Dynamic cue for spatial layout
Static cue for surface shape הצל המוטל נותן יותר אינפורמציה על הצורה של המשטח עליו מוטל הצל מאשר על הצורה של האובייטק שמטיל את הצל.
Static cue for surface shape למרות שבאופן תאורטי הצורה של הצל המוטל בתמונה מספיקה כדי להבהיר את צורת הקלף, הצורה עדיין לא חד משמעית באופן תפיסתי. למרות ניסויים רבים בנושא לא הגיעו למסקנות האם מערכת הראייה משתמשת באינפורמציה של הצל המוטל, כדי להסיק על צורת המשטח באופן חד משמעי.
Dynamic cue for surface shape כשהאובייקט המטיל את הצל זז, יותר אינפורמציה יכולה להאסף מתזוזת הצל המוטל לאורך זמן. 1.אינפורמציה על צורת האובייקט המטיל את הצל - בשלב זה, השאלה האם המידע של הצל המוטל מכיל את המידע לגבי האובייקט המטיל נשארת פתוחה. במשטח שטוח, צל דינמי אפקטיבי יותר באינפורמציה על צורת האובייקט המטיל. כאשר המשטח אינו שטוח (smooth) קשה לתאר לאורך זמן את צורת האובייקט המטיל, במקרה הזה האובייקט נראה לא קשיח.
Dynamic cue for surface shape 2. אינפורמציה על צורת המשטח עליו מוטל הצל – האינפורמציה המסופקת ע"י צל מוטל דינמי לגבי צורת המשטח המוטל, היא בעלת ערך דומה לאינפורמציה המסופקת במקרה הסטטי מבחינה תפיסתית. (החלף את העט במקרה הסטטי בכדור שנע בציר העט). ולכן גם המסקנות די זהות.
Static cue for spatial layout האינפורמציה שצל מוטל מספק לגבי הסידור בתלת מימד היא ישירה – ככל שהאובייטק המטיל קרוב יותר לרקע כך קרוב הצל לאובייקט המטיל, וההפך.
Dynamic cue for spatial layout צל מוטל שנמצא בתנועה, מספק אינפורמציה על התנועה היחסית של גופים במרחב. תנועת הצל המוטל מספקת אינפורמציה לגבי המיקום היחסי בין האובייטק לקרקע. התפיסה שהריבוע זז בתמונה מתחזקת כאשר: 1. יש פנברה סביב הצל 2. כאשר מקור האור מגיע מלמעלה 3. כאשר הצל חשוך ולא מואר.
כשהאובייקט גם זז, תפיסת המסלול שלו במרחב מושפע ממסלול הצל המוטל על ידו. Dynamic cue for spatial layout כעת נדגים חלק מההנחות שבהם משתמשת מערכת הראייה על מנת להסיק על הסידור במרחב כתוצאה מתזוזת צל.
Cast shadow constrains לתזוזה של צל מוטל יכולות להיות משמעיות שונות ופרושים שונים. המיקום של צל מוטל על הקרקע יכול להיות כתוצאה מצרוף אין סופי של : כתוצאה, כאשר צל זז בתמונה כל קומבינציה של הנ"ל יכולה להיות אחראית למיקום של הצל בתמונה. 1. מיקום המקור האור – light source 4. מיקום האובייקט המטיל 2. מיקום נקודת הראיה – viewpoint 3. מיקום הרקע – Background
Cast shadow constrains למרות זאת, באופן תפיסתי התזוזה של הצל המוטל בתמונה גורם לתחושה שהאובייקט זז, ולא לוקח בחשבון אפשרויות אחרות. (למשל שמקור האור זז). גילוי זה מצביע על כך שמערכת הראייה משתמשת באילוצים קודמים על מנת לפתור את הרב משמעיות של הסיבות לתזוזת הצל.
Cast shadow constrains 1.תזוזה של מקור אור – Light source motion. 2.תזוזה של הרקע – Background motion. 3.תזוזה של נקודת הראייה – Viewpoint motion. 4.תזוזה של האובייטק – Object motion.
Light source motion
בדוגמא של הריבוע – למרות שרצף התמונות נוצר מתזוזה של מקור האור, הצופים בניסוי תפסו את תזוזת הצל כתוצאה מתזוזת הריבוע. בדוגמא של כדור בקופסה – למרות שרצף התמונת נוצר מתזוזה של מקור האור, ולמרות שהוסיפו עדויות לכך שהאור באמת זז, עדין תפסו הצופים את תזוזת הצל כתוצאה מתזוזת הכדור. אפילו שינוי הצל על הכדור (attach shadow) כדי לרמוז על תאורה משתנה, לא עזר לתפיסה של תנועת הצל.
Light source motion מסקנה: מערכת הראייה מניחה שמקור האור קבוע, ונמצא למעלה מאחורי הראש.
Background motion
גם בניסויים שבוצעו בתזוזת הקרקע גרמו לצופים עדין לתפוס את תזוזת הצל כתוצאה מתזוזת האובייקט. מסקנה: מערכת הראייה מניחה שהרקע קבוע.
Viewpoint motion
Object motion
ראינו שהתזוזה של הצל המוטל באופן תפיסתי נבעה מתזוזת האובייטק. 1. גודל האובייטק – למרות שהאובייקט זז בעומק התמונה הגודל שלו לא משתנה. 2. נקודת ראייה (viewpoint) מיקרית – האובייקט זז ישירות בקו הראייה, כלומר שאם נקודת הראייה היא מיקרית (לא בהכרח בקו ישר עם האובייקט), הרי שתזוזת האובייקט תגרום גם לתזוזה של האובייקט בתוך או מחוץ למישור העדשה של מערכת הראייה. חשוב להבין שפרוש זה של מערכת הראייה מפר שני אילוצים:
Object motion זוהי תופעה מפתיעה מהסיבה שמערכת הראייה מעדיפה להניח שהאובייקט קשיח. העובדה שהצל המוטל ביטל את הנחות היסוד הנ"ל, מוכיחה כמה כח יש לתנועה של הצל לגבי התפיסה שלנו לתנועה במרחב.
Conclusions תארנו את החוקים של צל מוטל לתפיסה של: 1.צורת המשטחים. 2.הסידור המרחבי. (spatial layout). ראינו שלמרות שלצל המוטל יש את הפוטניאל לתת אינפורמציה לגבי צורת המשטחים, הוא עדיין נתן אינפורמציה חלשה ביותר לגבי הצורה. מצד שני צל מוטל מספק באופן ברור רמיזות לגבי מיקום האובייטקים במרחב. (בעיקר בתזוזה)
Conclusions המסקנה האחרונה מעלה את הבעיות הבאות: 1. Segmenting and labeling cast shadow in scenes. 2. Linking cast shadows with the objects which cast the shadow. 3. Interpreting spatial relation from the changing displacement. לפני שצל מוטל יוכל לשמש לרמיזות לגבי הסידור המרחבי הוא צריך להיות מזוהה כצל המוטל של האובייקט.
Segmenting and labeling בתמונות סטטיות, צל יכול בקלות להיות מבולבל אם חלקים אחרים בתמונה, למשל צבע שחור, כתמים ועוד. הקיום של פנמברה (penumbra) יכול לעזור בהבחנה בין צל ומשטחים אחרים.
Segmenting and labeling בתמונות דינמיות, ישנו יתרון בסיווג צללים. בהנחה שמקור האור קבוע, בתמונה דינמית אפשר לעקוב אחרי התנועה, ואם האובייקט והצל נעים באותו כיוון והם מחוברים בקו ישר אל נקודת האור, אזי אפשר להסיק שהאובייקט והצל קשורים אחד לשני
Linking objects with their shadows בתמונות סטטיות, הקביעה של ההתאמה בין אובייקט והצל המטיל שלו היא בעיה קשה. בתמונות דינמיות, שבהן גם האובייקט וגם הצל זז, התנועה המתואמת בין שניהם מספקת מידע מהימן לקשר (linking) בין האובייקט לצל באופן תפיסתי. למרות שלפעמים קשר זה נוצר גם במקרים לא רצויים.
Inferring spatial relation בהנחה שהצלחנו לסווג את הצל ולקשר אותו לאובייקט המתאים, הצל המוטל יכול לספק מיידע על הסידור המרחבי בתמונה. בתמונות דינמיות, השינוי במרחקים בין האובייקט והצל שלו, מספק מיידע לגבי התנועה היחסית של האובייקט בעולם. הראנו שהפרוש של תנועת האובייקט במרחב, נבחרה ע"י מערכת הראיה כנגד פרשנויות אחרות רלוונטיות, כמו, תזוזת מקור האור. מכאן שתזוזת הצל המוטל מספק מידע מכריע לגבי התנועה היחסית של אובייקטים בתמונה.
Summery לצל המוטל יש השפעה חלשה בזיהוי צורות המשטחים. מערכת הראייה מפרשת תזוזה של צל במרחב, כתוצאה מתזוזת האובייקט המטיל אותו. לצל מוטל יש השפעה חזקה על התפיסה של הסידור במרחב. (בעיקר בתנועה)
END