Error Concealment In The Pixel Domain And MATLAB commands 37121221 - שידור אודיו ווידאו על רשת האינטרנט מרץ 2004

Error Influence On A Digital Video Signal Building a flexible error model Typical errors of a compressed video sequence Various error types Compatibility of error quantity and type to the channel characteristics slice errors single and group errors הצגת המודל לגרימת שגיאות. מידול שגיאות עבור סרט וידאו דחוס – התייחסות למסגרות IBP בצורה שונה. לדוגמא - שגיאה מסויימת גורמת ליותר עיוות במסגרת B מאשר העיוות שהיתה גורמת למסגרת I. יכולת הפלת מקדמי DCT, וקטורי תנועה. מידול שגיאות מסוגים שונים – שגיאות בודדות. קבוצות בלוקים. גרירת שגיאות בגלל יציאה מסנכרון (עד סוף ה – slice). בלוקים או מקרו-בלוקים. הכלה של שגיאות DCT על שגיאות MV (אם נפלו מקדמי DCT עד סוף ה – slice בגלל יציאה מסנכרון, גם ה – MVs השייכים לזרם הביטים במקום שנפגע, נופלים). יכולת התאמת כמות וסוג השגיאות לאופי הערוץ – ניתן לשלוט בהסתברות לכל סוג שגיאה. במרחק בין שגיאות. בחומרת השגיאות. ניתן להתחשב ברעש בערוץ. האיורים – הצגה חלקית של יכולות מידול שגיאות. בירוק – נפילת וקטורי תנועה. בתכלת – נפילת מקדמי DCT. בטורקיז – גם וגם.

Types Of Error Resilience Methods Addition of redundancy in the encoder Fallback: increasing bandwidth Coder – decoder interaction Fallback: ineffective for real-time applications Performing error concealment at the decoder שיטות שונות להתאוששות משגיאות הוספת יתירות במקודד – דוגמאות: קוד תיקון שגיאות. קוד סנכרון תדיר יותר. Redundancy במידע מסויים. חסרון – רוחב פס. אינטרקציה בין המקודד למפענח – לדוגמא: retransmissions. חסרון – לא real time הסתרת שגיאות במפענח – נרחיב בשקפים הבאים

Error Concealment Using the natural redundancy and the smoothness characteristic which exist in natural video sequences Advantages: No bit rate growth No significant delay Disadvantages: Decoder complexity Not affective for high noise level in the channel הסתרת שגיאות: תכונת החלקות של סרט "טבעי" (לא סינטטי). יתרונות – מתבצע במפענח בלבד לכן אין הגדלת רוחב הפס ואין צורך בשידורים חוזרים או באינטראקציה אחרת עם המקודד. חסרונות – סיבוכיות המפענח עלולה להיות גבוהה.

Main Methods of Error Concealment Spatial error concealment Temporal error concealment Frequency domain error concealment

Spatial Error Concealment Using spatial redundancy of a single frame – the lost pixel values are similar (or identical) to the surrounding pixels values. Spatial error concealment- method B Spatial error concealment- method A הסתרת שגיאות מרחבית קיימות שיטות שונות הנבדלות ביניהן במיקום ובמספר הפיקסלים השכנים המשמשים לשחזור הפיקסל החסר. לדוגמא, השיטה שמימשנו בפרוייקט – שימוש ב – 4 הפיקסלים השכנים של כל פיקסל. מאחר שגם הפיקסלים הללו חסרים, למעשה אנחנו רושמים 64 משוואות עם 64 נעלמים (נעשה שימוש גם בשורות הפיקסלים השייכות לבלוקים השכנים, הסמוכות לבלוק שאבד). מפתרון המשוואות מקבלים את ערכו של כל פיקסל. חסרונות השיטה – לא יעילה בסביבה שבה יש שונות גבוהה מאוד בין הפיקסלים (תמונה מסובכת מבחינה מרחבית). גורמת לטשטוש של גבולות אובייקטים.

Temporal Error Concealment Using the temporal smoothness assumption- restoration based on a previous frame, involving motion compensation. Temporal error concealment – restoration of motion vectors Yellow- motion vectors of the original video sequence Red- motion vectors of the restored video sequence הסתרת שגיאות זמנית קיימות שיטות שונות לשחזור וקטורי תנועה שנפלו. הדוגמא שמימשנו בפרוייקט – ביצוע ממוצע של וקטורי התנועה הסובבים וקטור מסויים שנפל. התמונה האמצעית מציגה את וקטורי התנועה בסרט המקורי (בצהוב). מודגשים באפור, שני וקטורי תנועה שנפלו. ניתן לראות שהווקטור התחתון לא שוחזר בצורה טובה מאחר שהתנועה סביבו אינה הומוגנית. חסרונות הסתרת שגיאות זמנית: לא יעילה כאשר קיימת תנועה רבה ולא הומוגנית.

Frequency Domain Error Concealment Smoothness in the frequency domain – high correlation between frequency coefficients that are located in the same position in adjacent blocks. Graphic visualization of the DCT coefficients Frequency domain smoothness- correlation between the DTC coefficients הסתרת שגיאות בתחום התדר. הצגה גרפית של המשמעות של כל מקדם DCT – מדיאגרמה זו ניתן להבין שקיימת קורלציה בין מקדמי תדר השייכים לאותו מקום במטריצה, בבלוקים שכנים. הקורלציה מתקיימת בעיקר עבור תדר ה-DC ועבור התדרים הנמוכים. שימוש בעיקר בתמונות I,בהן לא קיים motion compensation, כיוון שעובדים במישור התדר.

Frequency Domain Error Concealment, cont. Advantage- using DCT coefficients that are not used by other methods Disadvantage- relevant for intra coded frames only Error concealment in the frequency domain using error minimization הסתרת שגיאות בתחום התדר (המשך) למשל: ביצוע מינימיזציה של השגיאה בין הפיקסלים על שפת הבלוק שסובל מנפילת מקדמי DCT (בירוק) לבין הפיקסלים הסמוכים לבלוק (השייכים לבלוקים השכנים). את המינימיזציה ביצענו באמצעות שימוש בפונקציית אופטימיזציה : מקדמי ה – DCT החסרים, מוחלפים בקומבינציה לינארית של מקדמי ה - DCT המתאימים בבלוקים השכנים, כך שהשגיאה תהיה מינימלית.

Hybrid Error Concealment Developing an optimal method for error concealment, combining different algorithms, with a central smart decision mechanism. Scene dependant decision: Motion velocity Details amount in the frame Spatial smoothness Decision mechanism parameters: Motion variance in the blocks adjacent to the reconstructed block Amount of motion in the reconstructed block Spatial smoothness around the erroneous/lost block The number of remaining DCT coefficients Perceptual quality measure בניית מנגנון החלטה שיבחר בשיטה העדיפה לתיקון שגיאות. חשוב : 1. מנגנון ההחלטה בוחר בשיטה כלשהי עבור כל שגיאה (כל בלוק או מקרו-בלוק) 2. הבחירה אינה בדיעבד - לא מתבצעת הסתרה בכל השיטות ואז בחירה של שיטה עדיפה, אלא, על מנת לחסוך בזמן עיבוד, ההחלטה מתקבלת מראש. הפרמטרים על פיהם פועל מנגנון ההחלטה עץ ההחלטה של המנגנון מורכב מהפרמטרים המופיעים בשקף. מנגנון ההחלטה משתמש בפרמטרים אלה על מנת לבחור בין השיטות השונות של הסתרת השגיאות. שונות התנועה בבלוקים הסובבים את הבלוק המשוחזר חלקות מרחבית בסביבת השגיאה מידת התנועה בבלוק המשוחזר – אם וקטור התנועה קיים, אך ההפרש נפל (במסגרת B או P), מנגנון ההחלטה צריך לבחור האם להשתמש בווקטור התנועה לשחזור המקרו- בלוק שנפל (הסתרה זמנית) או לשחזר את כל הבלוק בשיטה המרחבית. כאשר רמת התנועה גבוהה מאוד, ניתן להניח שגם ההפרש גדול ואז עדיף לשחזר מרחבית. מספר מקדמי ה – DCT שנותרו – אם נפלו רק חלק קטן ממקדמי ה – DCT, המנגנון יכול לבחור לא לשחזר כלל את המקדמים שנפלו.

Decision Tree For P & B Frames האלגוריתם מחלק את הטיפול לבלוקים/מקרו-בלוקים להם קיים וקטור תנועה, לעומת כאלו שווקטור התנועה שלהם חסר. אם וקטור התנועה קיים, נבדקת מידת התנועה בבלוק/מקרו-בלוק (גודל הווקטור). אם מידת התנועה מתחת לסף מסוים (A), קיים סיכוי גבוה לכך שהבלוק/מקרו-בלוק דומה לזה שבמסגרת ה- reference ולכן עדיף לא לבצע הסתרה (החלטה 3), כלומר להשתמש בווקטור התנועה ובבלוק ההפרשים כמו שהם (איפוס מקדמי בלוק ההפרשים שנפגעו). כאשר מידת התנועה מעל סף A, האלגוריתם בודק אם מספר מקדמי ה - DCT שנותרו בבלוק גדול מסף B. אם כן, עדיף לא לבצע הסתרה כיון שהמקדמים שנפלו לא מספיק דומיננטיים ואיפוסם מאפשר שחזור באיכות טובה. אם מספר המקדמים שנותרו קטן מסף B1, עומדות בפנינו שתי אפשרויות: הסתרה זמנית או הסתרה מרחבית. ההחלטה תקבע לפי בדיקת השונות המרחבית סביב הבלוק/מקרו-בלוק שנפל. במילים אחרות, אם האזור חלק דיו (שונות מרחבית מתחת לסף D1), כך ששחזור מרחבי לא יגרום לשגיאה גדולה מידי תבוצע הסתרה בשיטה המרחבית, אם האזור סביב הבלוק המשוחזר הוא מורכב (מבחינת שונות ערכי הפיקסלים), תבוצע הסתרה זמנית. השונות המרחבית מחושבת עבור ערכי הפיקסלים שסביב הבלוק/מקרו-בלוק הפגוע, אך רק כאלה השייכים לבלוקים/מקרו-בלוקים תקינים, או כאלו שכבר שוחזרו. בנוסף, שמינית מהפיקסלים שערכיהם קטנים מאוד ושמינית מהפיקסלים שערכיהם גדולים מאוד אינם נלקחים בחשבון כדי למנוע הטיית הממוצע על ידי פיקסלים בודדים. במידה שוקטור התנועה אינו קיים, נבדקת מידת התנועה באזור שנפגע על ידי חישוב השונות עבור וקטורי התנועה של המקרו-בלוקים הסובבים את הבלוק/מקרו-בלוק החסר. שונות קטנה מסף מסוים (סף C), מנבאת שאם נשחזר את וקטור התנועה החסר באמצעות מיצוע וקטורי התנועה הסובבים אותו, נקבל בסבירות גבוהה וקטור דומה לזה המקורי. לכן, במקרה זה, מנגנון ההחלטה יבחר לבצע הסתרה זמנית. כאשר שונות התנועה גדולה מסף C, נבדקת שוב השונות המרחבית של האזור הפגוע, הפעם עם סף החלטה D2 שהינו גבוה יותר מאשר D1. הסיבה לבדיקה הנוספת טמונה בהנחה שברוב המקרים, הסתרה זמנית עולה בטיבה על הסתרה מרחבית. לכן, אם השונות המרחבית גבוהה, נעדיף לבצע הסתרה זמנית, על אף שהשונות הזמנית גבוהה אף היא. כאשר שונות התנועה גדולה מסף C והשונות המרחבית נמוכה מ-D2, נבצע הסתרה מרחבית.

Decision Tree For I Frames האלגוריתם עבור מסגרות I פשוט יותר. האלגוריתם בודק אם מספר מקדמי ה - DCT שנותרו בבלוק גדול מסף B2. אם כן, עדיף לא לבצע הסתרה. אם מספר המקדמים שנותרו קטן מהסף, תבוצע הסתרה מרחבית (הסתרה זמנית לא רלוונטית עבור מסגרות I).

Experimental Results of Error Concealment Spatial, temporal & hybrid EC: Without error concealment Spatial concealment Temporal concealment Decision-based concealment תוצאות ויזואליות: בסרט ממנו לקוחה התמונה, קיימת תנועה הן של הרכבת והן של הרקע. ימין למעלה –הריבועים השחורים מציינים שגיאות. ניתן לראות שקיימות שגיאות מסוגים שונים (בלוק, מקרו בלוק, עד סוף ה – slice וכו'). הסרט הפגום לא יראה כך (עם ריבועים שחורים), מטרת התמונה היא לסמן את מיקום השגיאות. שמאל למעלה – הסתרת שגיאות מרחבית – אפשר לראות את אפקט הטשטוש שנגרם כתוצאה משימוש בשיטה זו. ימין למטה – הסתרת שגיאות זמנית - אפשר לזהות מקומות שבהם, בגלל שקיימת תנועה רבה, הסתרת השגיאות גורמת לעיוותים בסרט. שמאל למטה – הסתרת שגיאות על ידי שימוש במנגנון ההחלטה – לדוגמא, לגבי העיגול האדום התחתון בהסתרה הזמנית, מנגנון ההחלטה בחר להשתמש בהסתרה מרחבית (שהיא העדיפה מבחינה ויזואלית). לגבי העיגול האדום התחתון בהסתרה המרחבית, ניתן לראות שמנגנון ההחלטה בחר בהסתרה זמנית (עדיפה).

Decision Results Optimal decision Decision mechanism Red- choosing spatial concealment Blue- choosing temporal decision Green- no observable different Optimal decision Decision mechanism Red- choosing spatial concealment Blue- choosing temporal concealment תוצאות ויזואליות נוספות: ממשק ויזואלי שנותן אינדיקציה על נכונות ההחלטות של המנגנון. בתמונה השמאלית מציגים את הבחירה האופטימלית בשיטות ההסתרה השונות (בדיעבד). הסרטים המשוחזרים בשיטות השונות מושווים לסרט המקורי ע"י mse. הצבעים השונים מציגים מתי היה עדיף להשתמש בשיטת הסתרה זמנית או מרחבית (או שאין הבדל מבחינת mse באיכות הסרט המשוחזר). בתמונה הימנית מציגים את בחירת מנגנון ההחלטה לגבי כל שגיאה. מוקפות בירוק, ניתן לראות החלטות נכונות של מנגנון ההחלטה. מוקפות בשחור, ניתן לראות החלטות לא טובות של מנגנון ההחלטה.

Results For Hybrid EC Comparing results of the suggested algorithm for EC with spatial concealment, temporal concealment, hybrid concealment (*) Using measures: MSE VPDM Improved MSE Visual results Frame types Variant Vs. Average Thresholds EC Methods Comparison

MATLAB – useful commands imread – קריאת תמונה ל-MATLAB. imwrite – כתיבת מטריצה המייצגת תמונה, לתמונה במערכת הקבצים. rgb2gray – המרת תמונה צבעונית (לאחר שנקראה כפרמטר של MATLAB ע"י imread) לרמות אפור. image, imshow – הצגת התמונה ב-figure. imshow מבצע כיול אוטומטי לתמונה. figure – יצירת חלון figure חדש (לתמונה/גרף). sum – סכום על ווקטור. var – ווריאנס

MATLAB – useful commands, cont. size – גודל מטריצה plot – הצגת גרפים max, min – מקסימום ומינימום של ווקטור (בהתאמה). (X).^(Y) – העלאה בחזקה Y של ווקטור X בפעולה איבר אחר איבר. ones, zeros – יצירת מטריצות אחדות או אפסים (בהתאמה). clear – מחיקת משתנים מהזיכרון. נועד להקל על זיכרון ה-MATLAB במהלך הרצות, במיוחד עבור תמונות גדולות. close – סגירת חלונות של figures. load – טעינת משתנים מתוך קובץ.

MATLAB – useful commands, cont. save – שמירת משתנים לקובץ. saveas- שמירת figure כתמונה או כ-figure במערכת הקבצים. fopen, fclose – פתיחת קובץ לפעולות, וסגירתו. לולאות: for, while. מסתיימים במילה end. להימנע משימוש בלולאות ככל האפשר, כאשר ניתן לעבוד על מטריצות. תנאים: if, elseif, וכן: case, switch. מסתיימים במילה end. quiver - הצגת ווקטורים על גבי figure (או על גבי תמונה). reshape - שינוי צורת ההצגה של ווקטור או מטריצה. למשל – מעבר ממטריצה לווקטור, או ממטריצה X*Y למטריצה (X/2)*(2Y).