1 אודיו ו - wavelets ע " י : אלכס בלן בעזרת התיזה של Corey Cheng

2 מטרת ההרצאה להקנות ידע באודיו להקנות ידע בעיבוד צליל להראות את יתרונות ה – wavelet באודיו ויישומים ליהנות

3 נושאי ההרצאה אודיו עיבוד צליל Wavelets לעומת פורייה נגיעה מתמטית יישומים

4 איך ומה האוזן שומעת ? שערות קטנות הרגישות לשינויים בלחץ, מעבירות פולסים חשמליים למוח. כל שערה כזו רגישה לתדר ספציפי. תינוק שומע בין 20hz – 20khz. – האוזן שומעת תדרים באופן אקספוננציאלי. עוצמת השמע היא 0dbspl – 140dbspl. – האוזן שומעת עוצמות באופן אקספוננציאלי.

5 שמיעת תדרים ועוצמות 440hz 880hz1760hz220hz 0db 1Watt 1Pascal 10db 10Watt  10 Pascal 20db 100Watt 10 Pascal db = 10log(W1/W2)db = 20log(P1/P2) W - הספק P - לחץ

6 עוצמות של תדרים. כל התדרים Low Mid High ככל שהתדר נמוך יותר כך האמפליטודה גדולה יותר.

7 תדרים של עוצמות התדר אותו האוזן שומעת הכי טוב הוא 3000hz. ככל שהעוצמה הכללית יורדת, וככל שתדר מתרחק מ hz, עוצמתו יורדת. 31 hz 63 hz 125 hz 250 hz 500 hz 1 Khz 2 Khz 4 Khz 8 Khz 16 Khz 0 db -10 db -20 db -30 db -40 db -50 db -60 db -70 db -80 db -90 db 0 hz עוצמה תדר

8 אודיו – אנלוגי מול דיגיטלי אנלוגי : סרט מגנטי ותקליט פלסטיק. – יתרונות : תדר דגימה אינסופי, רזולוציה אינסופית. – חסרונות : בלאי, הענות תדר לא מושלמת, עריכה לא נוחה. דיגיטלי : דיסקים, A-dat. – יתרונות : בלאי נמוך, הענות תדר מלאה, עריכה קלה. – חסרונות : רזולוציה 16 ביט בלבד לדגימה, סאונד לא חם.

9 פורמטים דיגיטליים נפוצים Cda – פורמט של שיר רגיל, בעל header המכיל אינפורמציה כמו אורך השיר, נקודת התחלה וכולי. – ה – data הוא 44,100 דגימות לשניה, 16 ביט לדגימה. WAV – מבנה סטנדרטי של RIFF, (windows). – המבנה מחלק את תכולת הקובץ לנתחים. לכל נתח יש יש header משלו, המצביע על סוג המידע בנתח. ה – data עצמו מקומפרס בפורמט שאינו מאבד מידע.

10 פורמטים דיגיטליים נפוצים - המשך Mp3 – פורמט כיווץ דיגיטלי המתבסס בעיקרו על התופעות הפסיכו - אקוסטיות הבאות : – תדרים קרובים נשמעים כמעט אותו הדבר. – תדר הגדול ב – 3db מתדר אחר, נשמע על חשבון האחר. אופן הכיווץ – שני כיווצים. – תחילה מחלקים את השיר לפריימים קטנים, ומנתחים כל frame מבחינת תדרים. – מכווצים אותו לפי טבלה מתמטית המייצגת את התופעות הפסיכו - אקוסטיות ( כיווץ עם איבוד מידע ). – משתמשים בכיווץ נוסף – הפמן ( כיווץ בלי איבוד מידע ).

11 ממירים מגברים ורמקולים ממיר : A/D – ממיר אות חשמלי רציף לדגימות ברזולוציה סופית. ממיר D/A – ממיר דגימות לאותות חשמליים. מגבר – מגביר אותות חשמליים נמוכים. רמקולים – מקבלים אותות חשמליים, והופכים אותם לתנועה מחזורית, המשנה את לחץ האוויר וגורמת לנו לשמוע.

12 נושאי ההרצאה אודיו עיבוד צליל Wavelets לעומת פורייה נגיעה מתמטית יישומים

13 Equalizer (eq) Equalizer – מאזן תדרים. – שימושים עיקריים : מיקס של כלים : אם שני כלים או יותר משמיעים קול במקביל, נעלה בכ – 3db כל אחד מהם בתדר אחר, ואז כולם ישמעו בבירור במיקס הסופי של הכלים. איזון סביבות אקוסטיות : עוצמות התדרים של שיר מושפעות מצורת החדר בו הן נמצאות והאקוסטיקה הפנימית שלו. ה – eq עוזר לאזן תדרים הקופצים החוצה, וליצור סביבה אקוסטית רצויה.

14 Equalizer המשך הפרמטרים החשובים ב – eq הם בחירת התדר והגברת \ הנמכת עוצמתו, רוחב הפס של התדר. בעולם האנלוגי : קבלים ונגדים משמשים לבחירת התדר, מגברים ונגדים משמשים לשינוי העוצמה. בעולם הדיגיטלי : בעזרת פורייה מקבלים את התדר הרצוי, ובעזרת מקדם התדר משנים את העוצמה. ההבדלים בין עבודת eq טובה ולא טובה הם גדולים. שנות ה – 70: BoneyM שנות ה – 90: Jamiroquai

15 אנאליזה וייצור מחדש ניתוח תדרים, שינויים ובניית הצליל מחדש. טרנספורם פורייה היה כלי נפוץ וידוע. פועל לפי עיקרון חוסר הוודאות של הייסנברג. – יש טרייד - אוף בין רזולוציית התדר לרזולוציית הזמן. – זה נובע מהמשוואה : k  x *  p  בה x מציין מרחק ו – p מציין מומנט. באודיו הרזולוציה של הזמן מקבילה לרזולוציה של המרחק (x), והרזולוציה של התדר מקבילה לרזולוציה של המומנט.

16 פורייה - תדר על חשבון זמן כל גרף מייצג מקדם ( משרעת ) אחד של טרנספורם פורייה. צבע שחור יותר מראה מקדם גבוהה יותר של התדר במרובע. ניתן לראות את השטח השווה של המרובעים בשני הגרפים כפירוש של עקרון חוסר הוודאות של הייסנברג freq (hz) freq (hz) time (msec) רזולוציה טובה יותר בתדר רזולוציה טובה יותר בזמן

17 הקשר בין נייקויסט פורייה והייסנברג נייקויסט – תדר הדגימה כפול מהתדר המקסימלי : – ניקח 44000hz כתדר דגימה ( כפול מתדר השמיעה ). – אם ניקח רזולוצית זמן של 2msec כלומר 88 דגימות ונעשה להן טרנספורם פורייה נקבל 88 תדרים שונים. – התדרים שנקבל ב - hz הם : 50,100,150…, – הרזולוציה בתדר היא 50hz (44000/88). – אם ניקח רזולוצית זמן של 1msec כלומר 44 דגימות ונעשה להן טרנספורם פורייה נקבל 44 תדרים שונים. – התדרים שנקבל ב - hz הם : 100,200,300…, – הרזולוציה בתדר היא 100hz (44000/44).

18 נושאי ההרצאה אודיו עיבוד צליל Wavelets לעומת פורייה נגיעה מתמטית יישומים

19 החסרונות של טרנספורם פורייה ה – trade off בין הרזולוציות של הזמן והתדר לפי טרנספורם פורייה גורמות לכך ש : – אי אפשר תיאורטית לבנות eq שהפרמטרים שלו משתנים במהירות אינסופית, כי הזמן הדרוש לשינוי כזה הוא אינסופי. – קשה למקם בזמן צלילים קצרים כמו כלי הקשה ולכן קשה לשנותם באופן יעיל כי הם נמרחים על ציר הזמן. המריחה משמעותית בתדרים הגבוהים, שם אורכי הגל הם קצרים אך הם מבוטאים בפרקי זמן ארוכים.

20 החסרונות של טרנספורם פורייה - המשך החץ שיוצא מ – BD מסמן את זמן המכה של תוף ה – BD, אך האנאליזה עדיין מראה את המכה הרבה זמן אחרי שקרתה. קיימים חלונות רבים עם ערך ממוצע גדול מ - 0 לאורך תקופת זמן ארוכה יחסית freq (hz) time (msec) BD חלון עם ערך ממוצע גדול בקצת מ – 0 מורח את המכה

21 מכת BD מקור תדרים נמוכים תדרים גבוהים

22 טרנספורם ה - Wavelet ניתוח ה – wavelet מחלק את מרחב התדר והזמן באופן לא אחיד, ככל שעולים בתדר : – הרזולוציה בתדר מוכפלת פי 2 ( נהיית פחות טובה ). – הרזולוציה בזמן מוכפלת פי ½ ( נהיית יותר טובה ). יש שימוש בצורות שונות של wavelets לפי הצליל. עיקרון חוסר הוודאות של הייסנברג נשמר – כל המרובעים הם בעלי אותו השטח.

23 יתרונות טרנספורם ה - Wavelet ניתוח ה – wavelet אקספוננציאלי בתדר בדיוק כמו גובה הצליל, הניתוח הוא על בסיס אוקטבות. ניתן לבודד צלילים קצרים בציר הזמן לפי התדרים הגבוהים. הניתוח מזכיר את אופי הצליל כמו ב – BD. – תדרים נמוכים ארוכים, תדרים גבוהים קצרים. ניתן להתאים צורות wavelet שונות לצלילים שונים וכך לייצג באופן קומפקטי יותר בלי איבוד מידע.

24 יתרונות טרנספורם ה – Wavelet המשך כל מרובע מייצג מקדם אחד של wavelet. ניתן לזהות בקלות את תזמון מכת ה – BD, לפי התדרים הגבוהים. בניתוח התמונה 5 דרגות : – דרגה 0 הי ממוצע המקדמים הסופי freq (hz) time (msec) BD דרגות המקדמי ם

25 נושאי ההרצאה אודיו עיבוד צליל Wavelets לעומת פורייה נגיעה מתמטית יישומים

26 פילטרים - Wavelet Low pass1 Highp ass1 2 Low pass1 2 Highp ass1 2 Low pass1 2 Highp ass1 2 ממוצע סופי מקדמים רמה 1 מקדמים רמה 2 מקדמים רמה 3 2 Low pass2 2 Highp ass2 2 Low pass2 2 Highp ass2 Low pass2 2 Highp ass2 קלט ממוצע סופי מקדמים רמה 1 מקדמים רמה 2 מקדמים רמה 3 פלט טרנספורם קדימה - אנאליזה טרנספורם אחורה - רסינטזה 2 2

27 המשך פילטרים - wavelet בכל רמה מפרקים לתדרים גבוהים ונמוכים, שומרים את הגבוהים ועוברים עם הנמוכים לרמה הבאה. המעבר לרמה הבאה היא עם מחצית הדגימות. ברמה התחתונה שומרים בנוסף את התדרים הנמוכים הנקראים ממוצע מקדמים סופי. הדרך חזרה בונה מחדש את הדגימות לפי הפילטרים המתאימים בכל רמה, לפילטרים של הפירוק. בכל רמה מוסיפים אפסים בין הדגימות. את האפקטים של חלונות הדגימה מורידים ע " י השיטות הרגילות : zero padding, symmetric extension, ו – circular convolution.

28 Wavelet– ים מועדפים משפחת הפילטרים : –Bi-orthogonal, symmetric, binary filters –Binary – מקדמים שלמים מחולקים לחזקות של 2: פשוטים ויעילים בחלוקה ב - 2. –Symmetric – סימטריות ביחס לציר מרכזי : בעזרת הסימטריות אין Phase distortion. –Bi-orthogonal – הם כמעט אורטוגונלים, הם לא שומרים על האנרגיה ועל חוסר ההתאמה בקלט. מלבד haar אין wavelets שהם גם סימטריים וגם אורטוגונלים ולכן משתמשים בבי - אורטוגונלים. כל הפילטרים הבונים מחדש בצורה מושלמת הם ביאורטוגונלים.

29 נושאי ההרצאה אודיו עיבוד צליל Wavelets לעומת פורייה נגיעה מתמטית יישומים

30 הנחתת רעשים תחילה עושים פירוק. קובעים סף, רך או קשה. – ניתן להשתמש באלגוריתמים לקביעת סף, או ע " י האוזן. – סף קשה – כל מה שמתחת לסף מתאפס. – סף רך – מכל המקדמים מורידים את ערך הסף. עושים רסינטזה. באותה שיטה משתמשים גם בטרנספורם פורייה : – יתרון ל – wavelet בצלילים קצרים.

31 ספים מניחים שהריבועים היותר שחורים נושאים מידע, ואלה שכמעט לבנים הם רעש. 220 freq (hz) time (msec) freq (hz) time (msec) מקורי סף קשה 220 freq (hz) time (msec) סף רך

32 שיפור תדר דגימה נמוך באודיו מוטיבציה : – התדרים הגבוהים נותנים חלק מתחושת החלל בו נמצאים. עוצמתם חלשה ולכן הם הכי מושפעים משינויי טמפרטורה. הם נעלמים ככל שהחדר גדול יותר. הם נעלמים ככל שהחדר יבש יותר מבחינה אקוסטית. בעיות אלה נפתרות בדרכים שונות כמו eq, הקלטה קרובה וכו '. – איכות cd יקרה מבחינת מקום אחסון וזמן העברה ברשת. לכן מייצגים אודיו בפחות דגימות : 11000, – נרצה לנסות ולחזות את התדרים הגבוהים החסרים.

33 אלגוריתם החיזוי פירוק למקדמי ה – wavelets. – לפי Strang באופן כללי, עוצמת המקדמים ברמה מסוימת קטנה אקספוננציאלית מעוצמת המקדמים ברמה שמתחתיה, כתלות במספר ה – Vanishing moments של הפילטר. הוספת רמה נוספת, וחיזוי המקדמים. – הרמה הנוספת מכילה פי 2 תדרים מהרמה הקודמת. – חיזוי המקדמים תלוי בעיקר ברמה שמתחתיו. בניה מחדש לפי 2 דגימות מהמקור.

34 אלגוריתם החיזוי - שלב ראשון שלב ראשון פירוק למקדמי ה – wavelets – לפי Strang באופן כללי, עוצמת המקדמים ברמה מסוימת קטנה אקספוננציאלית מעוצמת המקדמים בקמה שמתחתיה, כתלות במספר ה – Vanishing moments של הפילטר. 220 freq (hz) time (msec) דוגמא שמקיימת את הטענה של Strang דוגמא שלא שמקיימת את הטענה של Strang

35 אלגוריתם החיזוי - שלב שני הוספת רמה נוספת : – הרמה הנוספת מכילה פי 2 תדרים מהרמה הקודמת. – חיזוי המקדמים קטן אקספוננציאלית יחסית לרמות שמתחתיו. – החיזוי תלוי ב – p, כמות ה - vanishing moments 688 time (msec) המקדמים הנחזים ברמה הזאת שווים ל : p הערך הזה 2 -4p הערך הזה 2 -3p הערך הזה 2 -2p הערך הזה 2 -p הערך הזה =

36 אלגוריתם החיזוי - שלב שני המשך כמות ה – vanishing moments קשורה לכמות הפעמים שה – wavelet חותך את ציר ה – 0. –p vanishing moments נותן פולינום ב – p-1. ככל שמשתמשים ברמות יותר נמוכות לחיזוי יש סיכוי גבוהה יותר ל – aliasing. – בגלל שהחיזוי פחות טוב. דוגמאות : – תדר דגימה : – הורדה ל דגימות : – חיזוי ב – דגימות :

37 איזון תדרים – רוחב פס רחב הצורה הלוגריתמית של פירוק ה – wavelets דומה לאופן שבה אנו שומעים תדרים ועוצמות. – מתאים מבחינת תדרים – פירוק לאוקטבות שלמות. – מתאים מבחינת עוצמה – לפי strang. פירוק ע " י רוחב פס רחב יכול לתת : – איזון תדרים בסביבה אקוסטית – זיהוי מרכיבים בסיסיים בצליל אינו טוב ( עדיין ) ל – eq במיקס.

38 איזון תדרים - אלגוריתם מבצעים פירוק מגבירים \ מנחיתים את הרצועה הרצויה בעוצמה הרצויה עושים רסינטזה 688 time (msec) time (msec) הגברת רצועת התדרים

39 איזון תדרים - דוגמא השיר המקורי : מנחיתים את כל הרצועות מלבד : –0 – 689: –689 – 1378: –1378 – 2756: –2756 – 5512: –5512 – 11025: –11025 – 22050:

40 סיכום שימוש ה – wavelets באודיו הוא עדיין בחיתוליו. יש לו הרבה פוטנציאל בגלל התכונות הלוגריתמיות שלו שדומות לאופן שבה האוזן שומעת. היום קיימים פתרונות רבים לבעיות אודיו שלא משתמשים ב - wavelets.