1. מגישים: ענת טל033036500 לירן ליס025569260 מנחה: דמיטרי פורמן דחיסת וידאו ע " י 3D-DCT

2. מבוא דחיסת וידאו מהווה מרכיב חשוב בטכנולוגית הוידיאו הדיגיטלי העכשיוית. הצלחתם של יישומים רבים כגון ה- Video conferencing תלויה מאוד בשיפורים בדחיסת הוידיאו. קיימות שיטות בעלות ביצועי דחיסה טובים כגון Motion Detection אך אלו בעלות סיבוכיות חישובית גבוהה ודורשות חומרה ייעודית. דחיסת תמונה ע"י טרנספורמציית DCT תלת-ממדית הוכחה כבעלת סיבוכיות נמוכה יותר, עקב החלפת "צוואר הבקבוק" – תהליך זיהוי התנועה – בהתמרת DCT חד ממדית. בפרוייקט נשלב תהליכי עיבוד תמונה שהוכחו כיעילים עבור תמונות דו-ממדיות בהתמרת ה-DCT התלת-ממדית ונראה שניתן לקבל שיפור ניכר בדחיסה מבלי לפגוע באיכות הנראית לעין של הסרט.

3. דחיסה ע"י טרנספורמציית DCT תלת ממדית שיטה זו בנויה משלושה שלבים שונים: טרנספורמציית 3D-DCT. קוונטיזציית המקדמים. סידור המקדמים וקידודם. בעוד שלב ההתמרה מוגדר היטב, קיימות דרכים רבות ליישם את השלבים האחרים. בפרויקט זה אנו מבססים את הקוונטיזציה, סידור המקדמים וקידודם על המאמר: “Quantization of 3D-DCT Coefficients and Scan Order for Video Compression”, by Raymond, Chan & Adjeroh

4. טרנספורמציית DCT תלת-ממדית טרנספורמציית DCT תלת-ממדית היא הרחבה של המקרה החד ממדי. זו טרנספורמציה ספרבילית, לינארית ויוניטרית, המוגדרת כך:

5. קוונטיזציה קווטיזציה יוניפורמית של כל מקדם האנרגיה של המקדמים יורדת באופן אקספוננציאלי ביחס לכל אחד מהצירים:

6. קוונטיזציה - המשך ערך הקוונטיזציה של כל מקדם נקבע לפי "נפח קוונטיזציה" ראשית הצירים ( U, V, W = 0) V W (Time axis( אזור ההיפרבולה המשלימה המוזזת. אזור זה מכיל את המקדמים הדומיננטים. אזור ההיפרבולה המוזזת. אזור זה מכיל את המקדמים הפחות חשובים. U

7. סידור מקדמים וקידוד הפיכת קוביית המקדמים לוקטור חד-ממדי מקדמים "חשובים" (באזור ההיפרבולה המשלימה), יסודרו לפני שאר המקדמים. בתוך האזורים, סידור לפי ערך קוונטיזציה עולה. התמרת רצף המקדמים ברצף של זוגות סימבולים לפי Zero Run Length סימבול 1 מתאר את מספר האפסים המובילים ואת מספר הביטים הדרושים לייצוג סימבול 2 סימבול 2 מתאר את אמפליטודת המקדם קידוד אנטרופיה של רצף הסימבולים לפי Huffman.

8. מימוש המודל וקביעת הפרמטרים מימשנו את המודל כפי שהופיע במאמר. עבור הפרמטרים C, Bin, Bout כפי שצוינו במאמר קיבלנו תוצאות תואמות. ביצענו איטרציות לקביעת ערכי C, Bin, Bout אופטימליים תחת שמירה על PSNR מעל 38.5 [dB]. הערכים שהתקבלו : C=8, Bin=0.055, Bout=0.01. עבור ערכים אלו, השגנו יחס דחיסה של 91.13.

9. טכניקות לשיפור הדחיסה על ידי כך שנאפשר ירידה מסף 38.5[dB] בערך ה- PSNR ושימוש בטכניקות נוספות, ניתן להשיג שיפורים משמעותיים ביחס הדחיסה, ללא פגיעה באיכות הנראית לעין של הסרט: התאמת בלוקים. השפעות מערכת הראיה האנושית (מודל ה-HVS). זיהוי Textures.

10. התאמת בלוקים בסרטים רבים קיימים אזורים נרחבים שאינם משתנים בין מסגרות עוקבות (רקע, נופים וכו'). ניתן לנצל עובדה זו לשיפור הדחיסה. כאשר בלוק דומה עד כדי סף מסוים למקביל לו בחבילה משוחזרת קודמת, לא נשדרו. המקלט יציג שוב את הבלוק המקביל. נאלץ להוסיף ביט נוסף לכל בלוק כדי לסמן זאת. 8 מסגרות חדשות ציר הזמן 8 מסגרות קודמות אחרי קידוד ושחזור

11. השפעות מערכת הראיה האנושית (מודל ה-HVS) העין האנושית מהווה למעשה מסנן Band Pass. כלומר ישנם תדרים מרחביים רבים שהעין אינה רגישה אליהם. ע"י כך שנבצע סינון דומה לפני הקידוד, נוכל לשפר מאוד את הדחיסה מבלי לפגוע באיכות הסרט הנראית לעין. היות ומקדמי ה-DCT אינם מייצגים את התדרים האמיתיים, יש לבצע פעולת נירמול כדי להתאים את המסנן למקדמי DCT. Nill הראה שהמסנן המתואם עבור התמרת DCT נתון ע"י:

12. השפעות מערכת הראיה האנושית - המשך התאמת היחס בין מקדמי ה -DCT לתדרים מרחביים : 50 [cm]  Block width = 8 [pixels] = 0.218 [cm]

13. זיהוי Textures במסגרות רבות קיימים פרטים עדינים שמצד אחד העין האנושית אינה רגישה אליהם, ומצד שני פוגעים ביחס הדחיסה. נכנה אזורים אלו "אזורי טקסטורה". ביצוע קוונטיזציה גסה יותר עבור טקסטורות ישיג יחס דחיסה טוב יותר, אך לא יגרום לפגיעה באיכות הנראית לעין. על מנת לזהות אזורי טקסטורה, השתמשנו בשילוב של שני מדדים: הגראדינט נמוך מסף מסוים – דרישה זו מבטיחה שאזורי שפה לא יזוהו כטקסטורות. השונות נמוכה מסף מסוים – דרישה זו מבטיחה שאזורים המכילים פרטים בולטים לא יזוהו כטקסטורה. נקטנו בגישה מחמירה הקובעת כי בלוק יזוהה כטקסטורה אם"ם שתי הדרישות מתקיימות.

14. זיהוי Textures - המשך 4. בלוק זה מכיל את שפת האוזן ולכן לא נרצה להגדירו כטקסטורה. Var = 135, Grad = 19.37 1. בלוק זה מכיל את פרטי העין ולכן לא נרצה להגדירו כטקסטורה. Var = 1041, Grad = 61.8 3. בלוק זה מראה את שיפולי הלחי ולכן לא נרצה להגדירו כטקסטורה. Var = 157, Grad = 14 2. בלוק זה מטושטש ובעל רמות אפור קרובות ולכן נרצה להגדירו כטקסטורה. Var = 61, Grad = 11.4

15. מבנה התוכנה הפרוייקט כולל למעשה שתי אפליקציות נפרדות: אפליקצית המקודד / מפענח סימולטור המקבל כקלט סרט ופרמטרים שונים לאפיון צורת הדחיסה ומוציא כפלט נתונים סטטיסטים על דחיסת הסרט, וסרט מטרה המתקבל לאחר פעולת פענוח. אפליקצית ה- Viewer מציג סרטים הנתונים בפורמט Raw Data בלבד (לא מתבצעת שום פעולת עיבוד). האפליקציה משמשת לשם צפייה בסרטים המתקבלים מאפליקצית המקודד / מפענח או בסרטי מקור.

16. מודול המקודד / מפענח Original image DCT HVS masking Quantization Scheme Coding Channel Decoding Dequantization Inverse HVS masking I-DCT Reconstructed image Block Matching Reconstruct DC Block Matching Texture Recognition DC Quantization Differential DC

17. אלגוריתם הופמן BitCount = 0 while (List elements > 1) { A = Smallest Num. B = Second Smallest Num. Sum = A + B BitCount = BitCount + Sum Remove A and B from List Insert Sum to List } Return BitCount סכום שני האוספים הקטניםמספר הביטים הכולל 50 5 --- 15 10 5 5 2 35 2/103/105/10 10/10 5/10 1 0 1 0 מספר הביטים במילת הקודמילת הקודהסתברות הסימן 2"00"2/10 2"01"3/10 1"1"5/10 Total Bits = 2*2 + 3*2 + 5*1 = 15 חישוב מספר הביטים באופן ישיר : חישוב מספר הביטים לפי אלגוריתם הופמן :

18. תוצאות התאמת בלוקים: שיטה זו הוכחה כיעילה במיוחד (דחיסה פי 150) בקטעי סרט סטטים. גם עבור קטעים המכילים תנועות רבות יותר, הושג שיפור מסוים בדחיסה.

19. תוצאות - המשך מסנן HVS: כפי שצפינו מהחישובים התאורטים, התוצאות הטובות ביותר התקבלו כאשר מתחנו את הגרף פי 4, וקיבלנו כ- 30% שיפור בדחיסה. טקסטורה: עבור ערכי סף של: Gradient=16, Variance=140 מצאנו שניתן לבצע קוונטיזציה גסה יותר פי 2 מבלי לפגוע באיכות הסרט הנראית לעין. ערכים אלו הניבו שיפור של כ-10%. כאשר שילבנו את כל הטכניקות, נאלצנו לקבוע את קוונטיזציית הטקסטורה ל- 1.5 כדי לא לפגוע באיכות.

20. מסקנות סיכום התוצאות: עבור השילוב של כל הטכניקות התקבלה דחיסה של 160 ( לעומת 91 עבור דחיסת DCT בלבד ). ה -PSNR המתקבל הוא 37.1 [dB], אך איכות הסרט נשארה ללא הבדל הנראה לעין. אנו סבורים שיישום יעיל של אלגוריתמים אלו יאפשר דחיסה חזקה בזמן אמת ללא צורך בחומרה ייעודית.