1. מנחה קורס - פרופ' חגית הל-אור
מאת: אפראימוב אורן
מנחה קורס - פרופ' חגית הל-אור

2. הקדמה
כיום בעידן הדיגיטלי, היצירה והמניפולציה של תמונות דיגיטליות נעשה באופן פשוט וקל על ידי כלי חומרה ותוכנה שעולתם נמוכה.
כתוצאה מכך, לא ניתן לקחת כמובן מאליו את האותנטיות ויושרה של תמונה דיגיטלית אשר ניתנה לנו על ידי אדם זר.
אחד כיווני המחקר הפופולריים ביותר הינו Image Source Identification(ISI)
הערות פתיחה.

3. מבוא נחלק את הרצאה ל-3 חלקים: מה זה ISI, ומאילו מרכיבים בנוי המצלמה?
מה זה SVM, ואיך ניתן בעזרתו לסווג תמונות?
תוצאות ניסויים
הערות פתיחה.

4. מטרות איזה מצלמה היבטים:
זיהוי קבוצת מאפיינים עבור מקור הצילום (לדוגמא מצלמה דיגיטלית או של סמארטפון).
זיהוי מאפיינים ייחודים עבור מצלמות מסוימת.
מציאת סט תכונות אשר יעזרו לנו לסווג את התמונות.
היבטים:
זיהוי מקור בודד.
זיהוי מצב הצילום.
מסקנה מהקורס, מההרצאה וכד'.
איזה מצלמה

5. חלק א' - מבנה המצלמה
מסקנה מהקורס, מההרצאה וכד'.

6. מבנה המצלמה עדשה (lens) מורכב ממספר עדשות פנימיות ומנגנונים כדי לשלוט
בחשיפה, התמקדות, וייצוב תמונה לאסוף ולשלוט
באור שמגיע מבחוץ.
פילטרים (Filters) כולל פילטרים של אינפרה אדום ו"החלקת עגומות" כדי למקסם את איכות הנראות.
מסקנה מהקורס, מההרצאה וכד'.

7. מבנה המצלמה
מערך מסנן צבע (Color filter array – CFA) מכיוון שחיישן הפיקסלים אינו רגיש לצבע, כדי לייצר תמונת צבע, כל פיקסל משתמש במערך מסנן הצבע (CFA) כך שהוא מתעד את עוצמת האור לצבע אחד בלבד.
מסקנה מהקורס, מההרצאה וכד'.

8. מבנה המצלמה חיישן (Image Sensor)
החיישן מורכב מפיקסלים ש"רושמים" את כמות האור שפוגע בהם. האור מומר לאלקטרונים, ואלקטרונים מומרים למתח חשמלי שאחרי זה מומר לביטים בעזרת Analog to Digital (A/D)
קיימים 2 סוגים נפוצים:
CCD - Charge-coupled Device
CMOS - Complementary Metal-oxide Semiconductor
מסקנה מהקורס, מההרצאה וכד'.

9. מבנה המצלמה
מעבד (Image Processor) הינו הרכיב האחראי לקבלת המידע מן החיישן, עיבודו ודחיסתו לתמונה דיגיטלית. אחראי בנוסף לפעולות רבות, כגון תיקון צבע ורעש, מהירות תגובה של המצלמה, חדות וכד.
מסקנה מהקורס, מההרצאה וכד'.

10. טכנולוגיית חיישני CMOSו-CCD
מסקנה מהקורס, מההרצאה וכד'.

11. טכנולוגיית חיישני CMOSו-CCD
מסקנה מהקורס, מההרצאה וכד'.

12. אלגוריתם Demosaicing
תפקידו לשחזר תמונה בצבע מלא, מאוסף דגימות הצבע שנאספו על ידי החיישן ו-CFA.
האלגוריתם צריך להכיל את התכונות הבאות:
שימור מרבי של רזולוציית התמונה.
זמן חישוב מהיר או בניית יישום חומרתי במצלמה בצורה יעילה.
זיהוי רעש והפחתתו בזמן תהליך השחזור.
מסקנה מהקורס, מההרצאה וכד'.

13. אלגוריתם Demosaicing
מסקנה מהקורס, מההרצאה וכד'.

14. טכנולוגיית חיישני CMOSו-CCD
חסרונות:
CCD
יקר יותר ליצור.
צורך חשמל רב יותר (עד פי 100 מCMOS).
חימום גוף המצלמה.
CMOS
איכות תמונה ירודה.
משומש למטרות הדמיה.
כיול החיישן קשה יותר.
מסקנה מהקורס, מההרצאה וכד'.

15. טכנולוגיית חיישני CMOSו-CCD
יתרונות:
CCD
רגיש לאור.
פחות רעש.
תמונה איכותית ו"מציאותית" יותר.
יותר פיקסלים.
CMOS
קטן
חסכוני בחשמל
רגיש לרעש
זול לייצור
יכולות עיבוד מהיר יותר.
מסקנה מהקורס, מההרצאה וכד'.

16. חלק ב' - מכונות וקטורים תומכים SVM
לעיתים רבות יש מידע רב-מימדי, אשר יש צורך ללמד את המחשב להבדיל בין שני סוגים של נתונים.
פתרון אחד, הוא להשתמש ברשתות נוירונים לסוגיהם.
פתרון אחר, הוא שימוש במכונות וקטורים תומכים, אשר מנסה למצוא "מסווג" עד כמה שיותר "ליניארי" בין שני סוגי הקלטיים.
מסקנה מהקורס, מההרצאה וכד'.

17. דוגמא לסיווג אובייקטים?

18. מוטיבציה – מערכת ראייה אנושית
מספר גדול של מחלקות (30,000~)
תהליך מפלה
סט קטן של דוגמאות
שינוי סיבובי
דימיון לאב טיפוס במקום תכונות

19. האלגוריתם נתונה קבוצת אובייקטים מסווגים.
נתונה קבוצה של פונקציות המייצגות תכונות (מאפיינים) של האובייקטים.
המטרה: הכללת הדוגמאות למסווג ככלי שיוכל לזהות האם אובייקט חדש לא מסומן, יכול שייך לאובייקט אותו אנו רוצים ללמוד, עם כמה שפחות שגיאות.
אובייקט אותו רוצים ללמוד נקרא אובייקט המטרה.
מסקנה מהקורס, מההרצאה וכד'.

20. הדוגמאות הדוגמאות הן אובייקטים עבורם ידוע הסיווג הנכון
הסיווג הנכון יכול להגיע ממקורות שונים:
הסיווג הנכון נצפה (במקרה של מניות יודעים אילו עלו)
מומחה אנושי מסווג עבורנו את האובייקטים
דוגמאות רועשות
בהרבה בעיות אמתיות אנו מקבלים דוגמאות עם סימון מוטעה
הטעות יכולה לנבוע:
תצפית לא מדויקת
טעות של המומחה האנושי
דוגמא כזו נקראת דוגמא רועשת
מסקנה מהקורס, מההרצאה וכד'.

21. תכונות (features) תכונה היא פונקציה המתארת אספקט מסוים של האוביקט
תכונה היא פונקציה המתארת אספקט מסוים של האוביקט
קבוצה התכונות היא המרכיב הקובע במידה הרבה ביותר את הצלחת תהליך הלמידה.
אם אוסף התכונות אינו עשיר מספיק כדי לבטא את ההכללה המבוקשת, אזי שום אלגוריתם למידה לא יצליח.
הנזק של תכונות מיותרות ולא רלוונטיות קטן בהרבה. הרבה אלגוריתמי למידה מסוגלים להתבגר על תכונות מיותרות.
מסקנה מהקורס, מההרצאה וכד'.

22. חלק ב' – הפרדה לינארית מרחב היפותזות (hypothesis space):
כיצד ניתן להפריד נקודות אלו בצורה אופטימלית וטובה ביותר?
מרחב היפותזות
(hypothesis space):
מפרידים לינאריים
סיוג +1
סוג -1
מסקנה מהקורס, מההרצאה וכד'.

23. אבל יכול להיות מספר מפרידים שונים!!
חלק ב' – הפרדה לינארית
דרך אחד למצוא מפריד (hyperplane) כזה, הוא על ידי עברת קו "מפריד" בין שני סוגי הדגימות.
סיוג +1
סוג -1
מסקנה מהקורס, מההרצאה וכד'.
אבל יכול להיות מספר מפרידים שונים!!

24. חלק ב' – הפרדה לינארית
אבל יש המון מפרידים כאלו, איך נדע מה הכי אופטימלי?
סיוג +1
סוג -1
מסקנה מהקורס, מההרצאה וכד'.

25. חלק ב' – הפרדה לינארית
אבל יש המון מפרידים כאלו, איך נדע מה הכי אופטימלי?
המפריד הכחול הינו
האופטימלי, בגלל
שמרחק מנקודות החיוביות
שווה למרחק לנקודות
השליליות
סיוג +1
סוג -1
מסקנה מהקורס, מההרצאה וכד'.
הא! אני מבינה!

26. חלק ב' – הפרדה לינארית שול
נתבונן במרחק המינימלי בין המשטח לווקטורים (Support Vectors) ונקרא לו רוחב השול ((Margin:
שול d
סיוג +1
סוג -1
מסקנה מהקורס, מההרצאה וכד'.

27. חלק ב' – הפרדה לינארית
נחפש את המפריד עם רוחב השול ((Margin הגדול ביותר:
סיוג +1
סוג -1
הפרדה כזו הינה
הינה הסוג הפשוט
ביותר של SVM, והיא נקראת LSVM (SVM לינארי)
מסקנה מהקורס, מההרצאה וכד'.

28. חלק ב' – הפרדה לינארית
השם "וקטורים תומכים" הגיע מהווקטורים הנוגעים בשול:
סיוג +1
סוג -1
מסקנה מהקורס, מההרצאה וכד'.

29. הגדרת המפריד והשול מגיאומטריה אנליטית, משוואת המישור היא: w T x+b=0
“Predict Class = +1” zone
“Predict Class = -1” zone
wx+b=1
wx+b=0
wx+b=-1
M = Margin w
מסקנה מהקורס, מההרצאה וכד'.

30. הפרדה לינארית מדוע שול הרחב ביותר? זה נראה נכון אינטואיטיבית.
השיטה יציבה באופן כללי, כי המפריד תלוי רק בווקטורים הקרובים ל"אמצע".
מבוסס על הצלחה אמפירית בהרבה תחומים.
מסקנה מהקורס, מההרצאה וכד'.

31. למה חשוב לבחור מפריד נכון

32. הפרדה לינארית?
נרצה למצוא מפריד לינארי לנתונים הבאים:

33. Kernel SVM המטרה: למצוא מסווג לינארי, אשר 'טוב' ביחס לנתונים. הבעיה:
לא ניתן למצוא מפריד לנארי במרחב הקלט.
הפתרון:
נעביר את הנתונים לממד גבוה יותר עם יותר תכונות (Transformation).

34. Kernel SVM
 : x  X = (x)

35. Kernel SVM
בזמן שמפריד הלינארי נכשל

36. Kernel SVM
ניקח את הנתונים ונעביר אותם לממד גדול יותר ועל ידי כך נוכל למצוא מפריד לינארי.

37. איכות המסווג
המטרה שלנו היא לקבל מסווג שיתנהג "טוב" על דוגמאות עתידיות.
מודלים תאורטיים של למידה מניחים, לדוגמא, שדוגמאות האימון ודוגמאות המבחן נדגמות מאותה התפלגות.
ביישומים מעשים נרצה פעמים רבות לשפוט את איכותו של המסווג יחסית לקבוצת מבחן נתונה.

38. דיוק על קבוצת מבחן
סיווג אמיתי
סיווג
מוטעה
סיווג נכון
נכון
מסווג

39. SVM Multi-Class Classification
יכול לסווג יותר מ-2 מחלקות.
מטרתו הראשית, למצוא פונקציה שתוכל להתמודד בצורה טובה עם כמות המחלקות ולסווג את האובייקט X למחלקה המתאימה.
2 שיטות עיקריות:
One vs All (AVS)
All vs All (AVA)

40. One vs All נבנה N מפרידים, כגודל מספר המחלקות השונות.
עבור כל מחלקה, נבנה מפריד כך שהוא יסווג את האובייקט הi- מול כל השאר.

41. One vs All
מפריד שמסווג את הקבוצה הכחולה

42. One vs All
מפריד שמסווג את הקבוצה הירוקה

43. One vs All
מפריד שמסווג את הקבוצה האדומה

44. One vs All
בזמן הסיווג, במידה ונפלנו על אזור לא "מסווג", בוחרים את המחלקה שלה התקבל ההסתברות הגדולה ביותר.

45. All vs All
נבנה N(N-1) מפרידים, כגודל מספר המחלקות השונות.

46. All vs All מסווג בין הקבוצה הכחולה לקבוצה הירוקה
המסווג עבור הקבוצה הירוקה הינו אותו מסווג רק עם תוצאה שלילית.

47. All vs All מפריד בין הקבוצה האדומה לקבוצה הכחולה
המפריד עבור הקבוצה הכחולה הינו אותו מסווג רק עם סימן מינוס לפני.

48. All vs All מפריד בין הקבוצה הירוקה לקבוצה האדומה
המסווג עבור הקבוצה האדומה הינו אותו מסווג רק עם סימן מינוס לפני.

49. All vs All
בזמן הסיווג, במידה ונפלנו על איזור לא "מסומן", בוחרים את המחלקה שלה התקבל הסיכוי הגדול ביותר.

50. סיכום SVM Multi-Class זמן למידה (Train time): זמן בדיקה (Test time):
AVA לומד יותר מפרידים, אך עם זאת הוא מתאמן על נתונים הרבה יותר קטנים.
זמן בדיקה (Test time):
AVA לוקח יותר זמן.
שגיאה:
AVA מתאמן על סט נתונים מאוזנים יותר.
AVA יש יותר מפרידים לכן יש סיכוי גדול יותר לטעויות (באופן תיאורטי פי 2 מ-OVA)

51. BLIND SOURCE CAMERA IDENTIFICATION
בעיה מעניינת בזיהוי פלילי היא בהינתן תמונה דיגיטלית אפשר לזהות את המצלמה שבעזרת צולמה התמונה.
במאמר זה נסתכל על גרסה פשוטה של בעיה זו, על ידי זיהוי מבין מספר מצומצם של דגמי מצלמות.
אנו נציע מספר תכונות אשר יכולות להיות בשימוש של "מסווג" (CLASSIFIER), כדי להשיג אחוזי זיהוי גבוהים.
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

52. מבוא בעולם האנלוגי, תמונה באופן כללי התקבלה כ"הוכחה".
בעידן הדיגיטלי של היום, היצירה והמניפולציה של תמונות דיגיטליות נעשה באופן פשוט בעזרת כלי עיבוד דיגיטליים אשר הינם פשוטים וזמינים באופן נרחב.
קיים מחסור בטכניקות שיכולים לסייע לנו במציאת תשובות סמכותיות.
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

53. תמונה דיגיטלית
אור נכנס למצלמה דרך העדשה, קבוצת פילטרים פועלים, והחשוב בניהם הינו "מסנן החלקה" (anti-aliasing filter)
החיישן (detector) מודד את עוצמת האור בכל מיקום של הפיקסל, בעזרת CFA.
לאחר הפקת הצבע על ידי CFA, הגלאי נותן רפרזנטציה דיגיטלי של עוצמת האור בכל פס צבע.
בשלב הסופי, המעבד עושה אינטרפולציה צבע, תיקון גמא, עיבוד צבע, תיקון נקודה לבנה, ואחרון אחרון חביב דחיסה
למרות שפעולות ושלבים אלו שלבים סטנדרטיים, פרט לעיבוד המדויק שנעשה בכל שלב הינו שונה מיצרן למשנהו
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

54. מדדים לזיהוי
נקבע סט של תכונות המאפיינים מצלמה דיגיטלית ספציפית ובעזרתה נסווג תמונות שהתקבלו ממצלמה זו.
למרות שיש שינויים ניכרים באלגוריתמים ובציוד שכל יצרן שם במצלמה שלו, עדין דרך יצירת התמונה מאוד זהה.
האמונה שלהם היא שתמונת הפלט מושפעת במידה ניכרת על ידי:CFA , אלגוריתם דחיסה וטרנספורמציהCFA demosaicing)).
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

55. מדדים לזיהוי
החוקרים מציעים 34 תכונות אשר יעזרו לנו בבניית SVM בסיוג מצלמות ודגם שלהם:
Average pixel value – מדד זה מבוסס על השערה שהעולם אפור, שבו נקבע כי הערכים הממוצעים בערוצי RGB של תמונה הינו ממוצע אפור, בהנחה שיש מספיק וריאציות צבע (color variations). כך הערך הממוצע של 3 ערוצי RGB הינו אפור. (3 תכונות)
השערה שהעולם אופר, מגיע מהעולם האמיתי, שממוצע הצבעים של תמונה הינו ממוצע אפור, ולכן במידה ולא נקבל אפור נדע שיש לנו רעש ונוכל לבודד אותו.
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

56. מדדים לזיהוי
RGB pairs correlation – מדד זה מנסה ללכוד את העובדה שלפי מבנה המצלמה, קורלציה בין רצועות צבע שונות יכולות להשתנות. יש 3 זוגות קורלציה שונים שנקראים RG, RB ו-GB. (3 תכונות)
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

57. מדדים לזיהוי
Neighbor distribution Center of mass– מדד זה מחושב עבור כל רצועת צבע (Color band) בנפרד על ידי חישוב מספר השכנים עבור כל ערך של פיקסל, שבו סופרים את כמת השכנים שערכם שונה ב-1 או 1- מערך הפיקסל שנתנו לבדיקה. (3 תכונות)
ההתפלגות שהושגה נותנת לנו אינדיקציה לרגישות pipline camera לרמות עוצמה שונות.
ראינו כי לתמונה דומה משתי מצלמות שונות, יש את אותו התפלגות עד כדי הזזה (shift) של השני.
מחשבים את ערך זה, כדי להעריך את הזזה בתמונה השנייה.
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

58. מדדים לזיהוי
RGB pairs energy ratio – מדד זה חשוב משום שהוא מיושם בתהליך חישוב הנקודה הלבנה שהינה חלק בלתי נפרד "מצינור המצלמה" (pipeline camera) התכונות מחושבות כך: E 1 = 𝐺 𝐵 2 , E 2 = 𝐺 𝑅 2 , E 3 = 𝐵 𝑅 (3 תכונות)
תוכנה זו חשובה בעת שימוש באלגוריתם "איזון צבע" (gray balance, neutral balance, or white balance or color balance)
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

59. מדדים לזיהוי
Wavelet domain statistics – עבור כל רצועת צבע של התמונה (אדום, ירוק וכחול) נחשב את LH1, HH1 ו-HL1. (9 תכונות)
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

60. IQMמדדי איכות התמונה -
מדדים אלו הם בעלי חשיבות עליונה במתן נתונים כמותיים על איכות התמונה המעובדת, והם מחולקים כך:
מדדים מתמטיים – מודדים את ההבדל בעוצמת פיקסל.
מדדי ראייה אנושיים (HVS – human vision characteristics) מאפיינים את התכונות האנושיות כגון: הסתגלות לבהירות, רגישות לניגודיות, מיסוך חזותי (visual masking) וערוצים חזותיים.
מבנה – מזהה שינויים מבניים בתמונה באמצעות שינוי במרחב המקומי של הקורלציה בערכי הפיקסל
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

61. IQMמדדי איכות התמונה -
החוקרים השתמשו במדדי איכות תמונה שאפשר לסווג ל-3 קטגוריות (13 תכונות):
מדד המבוסס על הבדל פיקסל (כלומר טעות ריבועית ממוצעת (MSE) , שגיאה מוחלטת, נורמת אינסוף שונה).
מדד על קורלציה מבוסס (קורלציית Czekonowski)
מדד המבוסס על מרחק ספקטרלי (שגיאת ספקטרלי של שלב וגודל)
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

62. MSE שגיאה מרובעת - " טעות ריבועית" (MSE – Mean square error)
תפקידו לאמוד את "הטעות", בין שני תמונות זהות, כדי לזהות את הרעש.
MSE קטן, משמע התמונות מאוד זהות.
מחושב כך, בגלל שהוא מכליל בתוכו את השונות (ואת תכונותיו)
MSE= 1 #Pixels xy f 1 x,y − f 2 x, y 2
PSNR=10 log 𝑀𝑆𝐸 =20 log 𝑀𝑆𝐸
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

63. X= (x 1 , x 2 , …, x n ) and Y=( y 1 , y 2 ,.., y n )∈ R n
מרחק מינקובסקי
מרחק בין האובייקטים במרחב רב-ממדי מהווים את הבסיס לשיטות רבות של ניתוח נתונים.
X= (x 1 , x 2 , …, x n ) and Y=( y 1 , y 2 ,.., y n )∈ R n
d x,y = i=1 n x i − y i p p
כאשר:
p=1, נקרא לעיתים גדולות נקרא גם "מרחק מנהטן".
p=2, ידוע גם כ"מרחק אוקלידי" המפורסם.
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

64. הכנת הניסויים
נערך מספר ניסויים כדי שימחישו את האפקטיביות של הצעדים המוצעים בסיווג תמונות שמקורם במצלמה דיגיטלית.
בכל הניסויים הוקפדו שמצלמות בעלות 2 מגה פיקסל, רזולוציה מקסימלית 1200x1600, ללא פלאש, זום אוטומטי וכל הגדרות האחרות הוגדרו על ברירת מחדל.
שני המצלמות צילמו מבנים, נוף ונוף טבעי, ואז ניתן להבחין במרקמים השונים של התמונות ולא בתכונות המצלמה.
150 תמונות צולמו על ידי כל אחד מהמצלמות, ולאחר מכאן עברו עיבוד לפני המדדים (תכונות) שהוצעו קודם.
השתמשנו במסווג SVM כדי לראות את האפקטיביות של המדדים, וזה נעשה בעזרת חבילה חינמית בשם LibSVM.
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

65. בניית המסווג הצעדים הבאים ננקטו על מנת תכנון ובדיקת המסווג:
40% מתוך 300 התמונות שמשו בשלב תכנון המסווג
המסווג שהתקבל מומש לסיוג יתר התמונות שלא ראה
צעדי הלמידה ובדיקות שהוסברו להלל הורצו 100 פעמים, עם תת קבוצה אקראית בכל שלב, כדי לראות את דיוק הסיווג הממוצע
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

66. תוצאות סיווג ניסוי 1 הדיוק הממוצע שהושג הינו 98.79%.
במהלך הניסוי שמנו לב שטבלת הקוונטיזציה (quantization) בשימוש כל מצלמה היה שונה, יתר על כן מתמונה לתמונה באותה המצלמה.
לכן, בניסוי הבא החלטנו שאיכות הדחיסה יהיה 75, כדי לבדוק זה משפיע על תוצאת הסיווג.
נבא
Sony
Nikon
0.12
99.88
אמתי
97.6
2.4
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

67. תוצאות סיווג ניסוי 2 הדיוק הממוצע שהושג הינו 93.41%.
אנו שמים לב שגם להשפעת הדחיסה יש חשיבות בעת הסיווג ולכן אנו מקבלים תוצאות נמוכות
נבא
Sony
Nikon
3.91
96.08
אמתי
90.74
9.25
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

68. הכנת הניסוי 3
הניסוי האחרון שנעשה, הוא לבדוק איך התכונות שהגדרנו באמת מסווגים יותר משתי מצלמות.
בניסוי זה, לקחנו 3 מצלמות מסוג Canon Powershot
כמו קודם, גם להם 2 מגה פיקסל ו1200x1600 רזולוצית תמונה.
עם זאת, כדי לנסות ולסווג מצלמות מעולם האמתי, הגדרות בעת צילום התמונות לא היו ידועות
נבנה עבורם SVM לחוד, שנוכל לסווג אותם לחוד ואז באמצעות SVM multi-class נסווג את כולם יחד.
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

69. תוצאות ניסוי 3 הדיוק הממוצע שהושג הינו 88.02%.
למרות שאחוז הדיוק די גבוהה, אני מציינים שבעזרת גיוון טקסטורה וגודל קבוצת הנתונים, היינו משיגים אחוז דיוק גבוהה יותר!
נבא
S200
S100
S110
Sony
Nikon
3.7
1.64
4.77
0.22
89.67
אמתי
0.53
0.34
0.31
95.24
3.56
8.04
4.78
78.71
0.6
7.85
0.11
92.84
3.57
0.32
3.14
83.63
0.23
7.88
2.27
5.96
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

70. תוצאות כל הניסויים
גרף/תרשים לדוגמה.

71. סיכום ועבודה עתידית
במאמר זה בחנו את הבעיה של זיהוי מקור המצלמה על פי תמונה דיגיטלית. למרות שהבעיה האמורה באופן המלא שלה קשה מאוד, הראנו גרסה פשוטה לצורך המחשה.
כפתרון אפשרי הצענו מספר תכונות אשר יכולים לשמש בזמן הסיווג.
הראנו פתרון עבור כמות גדולה של מצלמות, עם אחוז דיוק גבוהה.
כאשר נגדיל את סט הנתונים עבור כל דגם מצלמה ונכסה מגוון גדול של טקסטורה ונוף, נוכל לשפר את אחוזי הדיוק.
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

72. CAMERA/MOBILE PHONE SOURCE IDENTIFICATION FOR DIGITAL FORENSICS
זיהוי פלילי דיגטלי הפך בזמן האחרון לאחד היישומים החשובים ביותר שמנסה לזהות את המאפיינים והמקוריות של מכשירים דיגיטליים
בהתחשבות על העובדה שאלגוריתם מערך הדימות שונה מיצרן אחד למשנהו
הגישה שלנו קודם כול מחשבת את הערכים האופייניים של התמונות עם טכניקות עיבוד תמונה ושיטות מחקר נתונים
מאמר זה בוחן אם ניתן להבדיל בין דגמים של מצלמות מאותו יצרן, או אפילו פלאפונים פופולריים.
תוצאות המאמר מראות שהגישה שלנו יכולה להשיג שיעור זיהוי גבוהה מאוד מאלו שנמצאים בספרות.
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

73. מבוא שימוש נרחב באינטרנט שינה את הדרך בה אנשים רוכשים ומשתמשים במידע.
שימוש נרחב באינטרנט שינה את הדרך בה אנשים רוכשים ומשתמשים במידע.
בתחום הזיהוי פלילי דיגיטלי, פיתוחים עבור תמונות דיגיטליות גדל, משתמשים בתוכנות ומסווגים את המקור המצלמה.
מטרתו של מחקר זה לרכוש שיטות סיווג כדי לקבוע את מקור המצלמה או הטלפון הסלולרי.
בניגוד למחקרים קודמים, שבו קיים קורלציה גבוה של מותג המצלמה במהלך הזיהוי שלו.
מחקר זה מפתח אלגוריתם שמפחית את הבלבול עם דגם שונה מאותו מותג.
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

74. ההבדלים ממאמרים אחרים
מאמר זה מתמקד בניתוח הקשר בין מצלמות דיגיטליות לביות התמונות שלהם.
בכל שלב, ננסה למצוא את הפרמטר האופטימלי (לפי מה שנגדיר), ונוסיף אותו לאלגוריתם שלנו.
בשונה ממאמרים קודמים, אלגוריתם שפיתחנו מבדיל בצורה משמעותית בין דגמים שונים של אותו יצרן.
הניסויים שערכנו משלבים מצלמות דיגיטליות והן מצלמות של פלאפונים חכמים (של אותו זמן)
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

75. מדדים לזיהוי
נקבע סט של תכונות המאפיינים מצלמה דיגיטלית ספציפית ובעזרתה נסווג תמונות שהתקבלו ממצלמה זו.
האמונה שלהם הינו שתמונה הפלט מושפעת במידה ניכרת על ידי שלושת הגרומים הבאים:
Color Features – מתייחס למאפייני צבע בתמונה שלא הועבדו באמצעות המרת אות. מאפיינים אלו כוללים בדרך כלל ערך ממוצע, מקדם קורלציה, מרכז הפצה ויחס אנרגיה.
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

76. מדדים לזיהוי
Quality Features – איכויות הצילום של מצלמות שונות הם שונות. בדרך כלל ניתן להבחין בעין בלתי מזויינת. בזכות מדדי איכות התמונה (IQM) נתאר הבדלים חזותיים אלו
Image Characteristics of Frequency Domain – לאחר המרת תמונות מתחום המרחבי לתחום התדר, הגישה ליצור רצועות תדרים רבים. במאמר זה, אנו מאמצים את פונקציית השינוי של Wavelet לחישוב סטטיסטיקת תחום של Wavelet
בהשוואה לגישה מחקרית שנעשו קודם, מחקר זה מוסיף בכל שלב את הפרמטר האופטימלי של SVM כדי לשפר את שיעור הזיהוי
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

77. הכנת הניסויים
החוקרים ערכנו מספר ניסויים כדי שימחישו את האפקטיביות של הצעדים המוצעים במאמר זה.
ראשית, אוספים תמונה שצולמה מכמה מצלמות שונות, ברזולוציה שלפחות 1200x1600.
לאחר מכאן, טכניקת עיבוד התמונה מתבצעת כך שהיא מחשבת את הערכים האופייניים לתמונה.
אוספים קבוצה גדולה של תמונות עם מאפיינים שונים ועל פי זה מאמנים את המסווג.
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

78. בניית המסווג התמונות מחולקות באופן אקראי לSVM אימון וSVM בדיקת הנתונים
SVM אימון הנתונים מעבירה את המידע לתוכנה LibSVM לצורך הקמת מודל אימון.
תוכנת חיפוש הפרמטר האופטימלי מחפשת את פרמטר זה.
הפרמטר האופטימלי הוכנס לSVM לצורך זיהוי ובדיקה, שיעור זיהוי הנתונים לפיכך מתקבל.
על מנת להפחית טעות בבדיקה בשל דגימה אקראית, נחזור על אלגוריתם זה 10 פעמים, על מנת להשיג את שיעור הזיהוי הממוצע.
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

79. מבנה הניסוי הניסוי במאמר זה מורכב משני חלקים:
החלק הראשון כולל בדיקה של 3 מרכיבים עיקריים: תוכן תמונה, דפוס תמונה ומותג ודגם.
הם מבדילים את זה כך, על מנת לבדוק את ההשפעה של כל אחד לחוד על שיעור הזיהוי.
בחלק השני, בנחה שתוכן נתפס על ידי המצלמות הוא שונה לחלוטין. בהתאם למותג, דגם ואלמנט תחושתי, אנו מתכנים 3 מקרים כדי שנוכל להשוואות את התוצאות גם כן.
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

80. ניסוי 1
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

81. ניסוי 1 - בניית הסיווג
אנו משתמשים בארבע מצלמות שונות, Sont-T7, Sony-P9, Sony-P1, Nekon-E996
מכל מצלמה מצלמים 150 תמונות, כך שכל מצלמה מצלמות בדיוק את אותה התמונה שמצלמה הקודמת צילמה
מתוך 150 תמונות, 60 משתמשים כנתוני אימון ו90 משמשים כנתוני בדיקה.
בניסוי זה, הם מנסים לבדוק אם באמת תוכן תמונה זהה משפיע על יחס הזיהוי
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

82. תוצאות ניסוי 1 הדיוק הממוצע שהושג הינו 100%
אנו חושדים שאולי, זה קשור לכך שלקחנו תמונות בעלי תוכן דומה. בניסוי הבאה, באמת נבדוק אם תמונות שונות עדין מביאות לנו יחס זיהוי מושלם.
נבא
Sony T7
Sony P9
Sony P1
Nikon E995
100
אמתי
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

83. ניסוי 2 עתה נלקחו 4 תמונות שונות, עם תוכן שונה
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

84. ניסוי 2 - בניית הסיווג
אנו משתמשים מרבע מצלמות שונות, Sont-T7, Sony-P9, Sony-P1, Nekon-E996
מכל מצלמה מצלמים 150 תמונות, כך שכל מצלמה מצלמות בדיוק את אותה התמונה שמצלמה הקודמת צילמה
מתוך 150 תמונות, 60 משתמשים כנתוני אימון ו90 משמשים כנתוני בדיקה.
בניסוי זה, הם מנסים לבדוק אם באמת תוכן תמונה זהה משפיע על יחס הזיהוי
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

85. תוצאות ניסוי 2 הדיוק הממוצע שהושג הינו 93.05%.
אנו שמים לב שיש חשיבות לצילום תוכן שונה, וזה מעיד עד כמה חשוב לבחור נתוני לימוד לSVM במהלך האימון.
האם יכול להיות ש-3 התכונות שהגדרנו במאמר זה, הוגדרו באופן מוטעה?
נבא
Sony T7
Sony P9
Sony P1
Nikon E995
0.3
3.6
96.1
אמתי
3.8
1.9
94.3
1.8 89
7.1
2.1
92.8
2.9
4.1
0.2
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

86. ניסוי 3
כדי לטפל בבעיה זו, הם לוקחים סט של תמונות בעלי תוכן דומה וסט בעלי תוכן שונה.
כמו בניסויים הקודמים, גם כן הכול יהיה אותו דבר.
אנו ניקח את SVM של הניסוי הראשון וSVM של הניסוי השני וננסה בעזרתם לסווג את כל התמונות ולראות מי מביא את יחס הזיהוי הגבוה ביותר.
נשים לב, שחוקרים גילו שאימון SVM לפי תמונות בעלי תוכן דומה מעלה את יחס הזיהוי לכל תמונה על פני סיווגים אחרים!
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

87. ניסוי 3 D = Dissmilar S = Similar יחס זיהוי 90.925 תוכן שונה נבא
Sony T7
S D
Sony P9
S D
Sony P1
S D
Nikon E995
S D
100
Nikon E995 S
אמתי
0.7
3.9
92.2
3.2
Nikon E995 D
Sony P1 S
3.7
3.3
89.6
3.4
Sony P1 D
Sony P9 S
2.4
0.1 89
1.4
5.1
0.4
Sony P9 D
Sony T7 S
92.9
0.6
1.8
4.3
Sony T7 D
D = Dissmilar S = Similar יחס זיהוי תוכן שונה
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

88. ניסוי 4
לאחר שראינו שיש קשר ישיר בין בחירה של תמונות עם תוכן זהה בזמן בניית המסווג, נרצה עכשיו לבדוק תכונות נוספות.
לצורך כך, נבדוק עתה עם התכונות שהצענו באמת משפיעות על יחס הזיהוי
הניסוי הזה מתבסס בקרב 4 מצלמות, שרק תמונות בעלי דמיון שונה לחלוטין משמשות 1 מתוך 3 הקטגוריות שנבחרו לסיווג SVM כדי לראות איזה קטגוריה יש את ההשפעה הגדולה יותר על יחס הזיהוי.
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

89. ניסוי 4 נבא Color Feature Sony T7 Sony P9 Sony P1 Nikon E995 12.8 21.3
13.9 52
אמתי
6.3
17.3
72.9
3.5
7.7
57.9 26
8.4
65.8
8.1
12.1 14
נבא
Image Quality Feature
Sony T7
Sony P9
Sony P1
Nikon E995
18.5
7.3
8.3
65.9
אמתי
20.1
64.5
7.1
25.9
57.7
12.4 4
58.7
12.1
14.5
14.7
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

90. Wavelet Domain Feature
ניסוי 4
אנו שמים לב שרק הקטגוריה האחרונה מביא לנו שיעור זיהוי גבוה, וזה בעצם סותר את הנחה שלנו.
נבא
Wavelet Domain Feature
Sony T7
Sony P9
Sony P1
Nikon E995
100
אמתי
2.9
96.7
0.4
0.8
86.3
6.6
6.3
77.8
2.5
15.7 4
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

91. ניסוי 5
לביצוע השוואה הוגנת, הם חוזרים על תוצאות הניסוי הקודם אלא שהפעם התמונות בעלי תוכן דמיון גבוהה.
נבא
Color Feature
Sony T7
Sony P9
Sony P1
Nikon E995
100
אמתי
2.3
97.7
99.8
0.2
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.
נבא
Color Feature
Sony T7
Sony P9
Sony P1
Nikon E995
100
אמתי
99.4
0.6
99.5
0.2
0.3

92. Wavelet Domain Feature
ניסוי 5
נבא
Wavelet Domain Feature
Sony T7
Sony P9
Sony P1
Nikon E995
100
אמתי
0.9
99.1
99.8
0.2
אנו שמים לב, כל קטגוריה בעצם משיגה שיעור זיהוי גבוהה, ולכן החוקרים מכלילים את קטגוריות אלו בSVM.
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

93. ניסוי 6 החוקרים מנסים להתמודד עם דגמים שונים של אותו המותג.
ייתכן שפקטור המותג יוריד את שיעור הזיהוי בגלל רכיבים פנימיים שעוסקים בעיבוד התמונה שיכולים להיות זהים
כדי לבדוק את היכולות של השיטה המוצעת במאמר זה, הם משתמשים ב-7 מצלמות CCD מאותו המותג אך בדגמים שונים
יתרה על כך, כי הם מנסים להעריך את השפעת המותג, דגם ואיכות התמונה על שיעור הזיהוי
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

94. ניסוי 6
בזכות התכונות שהוכנסו לSVM, גם עבור מצלמות מדגמים שונים של אותו היצרן קיבלנו שיעור זיהוי גבוה.
נבא
Sony T7 T3 T1 P9 P8 P1 N1
0.9
0.7
1.1
93.3
אמתי
0.2 2
0.1 1
93.7
2.8
97.8
0.8
97.4
0.4
1.2
96.3
2.2
4.1
88.9
0.5
3.6
1.7
98.2 T9
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

95. ניסוי 7 ננסה להתמודד עם מצלמות שונות, מצלמות של טלפונים סלולריים
ננסה להתמודד עם מצלמות שונות, מצלמות של טלפונים סלולריים
נבחר 6 מכשירים, 3 מצלמות רגילות ו-3 טלפונים סלולריים עם מצלמה
נצלם מכל מצלמה 150 תמונות, 60 יילקחו לצורך אימון ו90 עבור בדיקה.
בגלל שחיישן שונה אנו חושבים שנשיג שיעור זיהוי גבוה
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

96. ניסוי 7 נבא Sony T7 CCD P9 P1 K750 CMOS K700 K600 1.1 93.3 K600 CMOS
1.1
93.3
K600 CMOS
אמתי
2.2
96.7
K700 CMOS
98.9
K750 CMOS
100
P1 CCD
P9 CCD
97.8
T7 CCD
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

97. סיכום
מאמר זה בעזרת הניסויים השונים מנסה לנתח את גורמי ההשפעה, כגון תוכן תמונה, דפוס תמונה, דגם/מותג מצלמה, חיישן ומספר המצלמות על יחס הזיהוי.
מתוצאות הניסוי, גילנו שגישתנו מציגה יחס זיהוי גבוה ומעידה ששיטה שנחקרה יכולה לזהות את מקור המצלמה שצילמה את התמונה.
בנוסף, שיטתנו עזרה לנו להבחין בין מצלמות מסוגים שונים, דבר שאינו מובן מאליו.
יישום של הצעדים וטכניקות של מאמר זה בסביבות וסצנות שונות משפר את יחס הזיהוי.
רשימה של הליכים ושלבים, או שקופית של הרצאה עם מדיה.

98. Bibliography Mehdi Kharrazi a, Husrev T. Sencar b, Nasir Memon b
New Measurements Reveal Weaknesses of Image Quality Metrics in Evaluating Graphics Artifacts
Multiclass SVM and structured prediction
BLIND SOURCE CAMERA IDENTIFICATION
Mehdi Kharrazi a, Husrev T. Sencar b, Nasir Memon b
CAMERAMOBILE PHONE SOURCE IDENTIFICATION FOR DIGITAL FORENSICS
Min-Jen Tsai1, Cheng-Liang Lai2and Jung Liu1
Multiclass SVM and Applications in Object Classification
טכנולוגיית חיישני CMOS ו- CCD
SVM Lecture.ppt