1. 1 גילוי מידע וזיהוי תבניות תרגול מס. 3 התפלגות נורמלית רב - מימדית Kullback-Leibler Divergence - משפט קמירות - נגזרת שנייה משפט Log sum inequality משפט אי - שוויון האינפורמציה נורמה (+ משפט )

2. 2 התפלגות נורמלית במימד אחד :

3. 3 ב - מימדים : הוא וקטור - מימדי הוא הוקטור הממוצע, המקיים : היא מטריצת הקו - וואריאנס במימד שהאיבר ה - שלה מוגדר ע ” י : וניתן גם לסמן :

4. 4

5. 5 מספר הערות לגבי ההתפלגות הנורמלית הרב - מימדית ההתפלגות השולית של כל רכיב היא נורמלית. מטריצה סימטרית : היא positive semi-definite האלכסון של מכיל את השונויות של הרכיבים. אם בלתי - תלויים, אז אם כל הרכיבים בת ” ל : מטריצה אלכסונית, וההתפלגות המשותפת היא מכפלת ההתפלגויות השוליות :

6. 6 Kullback-Leibler Divergence הגדרה : אינו מרחק אמיתי - הוא אינו סימטרי : ואינו מקיים את אי - שוויון המשולש. היא מידה של חוסר היעילות בהנחה כי כאשר התפלגות האמיתית היא למשל - בדחיסת נתונים : אם ידוע ניתן לתאר את X ע ” י ביטים. אם נניח נוכל לתאר את X רק ע ” י ביטים. משיקולי רציפות, נשתמש בהנחה : בחישוב

7. 7 דוגמה : יהי ויהיו p,q שתי פונקציות מסה : אזי : אם אז : כלומר - ה ” מרחק ” בין התפלגויות זהות הוא 0.

8. 8 ( המשך הדוגמה ) אם נקבל : “ עולה לנו ” יותר להניח כאשר למעשה מאשר להיפך. עבור נקבל :

9. 9 ( המשך הדוגמה ) משמעות התוצאות : מבחינה סטטיסטית, להניח ודאות כאשר אין ודאות - זה הרבה יותר גרוע מלהניח חוסר ודאות כאשר יש ודאות.

10. 10 שימוש ב - להערכת סבירות של תוצאות מבצעים n ניסויי ברנולי ( עם פרמטר p). מה הסיכוי ל -m הצלחות ? חישוב כזה קשה לביצוע עבור n גדול. נראה דרך אלטרנטיבית, עם שימוש ב - לפי נוסחת סטרלינג :

11. 11 עבור n גדול, האיבר האחרון זניח, ונשמיט אותו מכאן והלאה.

12. 12

13. 13

14. 14 דוגמה לחישוב בעיה : מה הסיכוי לקבל 70 פעמים “ עץ ” ב - 100 הטלות של מטבע הוגנת ?

15. 15 משפט : אם לפונקציה יש נגזרת שנייה אי - שלילית ( חיובית ) בכל נקודה, אז קמורה ( קמורה ממש ). תזכורת - הגדרת פונקציה קמורה : הוכחה : פיתוח טיילור של סביב : נתון ולכן הביטוי האחרון אי - שלילי ונקבל את אי - השוויון :

16. 16 ( המשך ההוכחה ) נציב ונקבל : באופן דומה, נציב ונקבל : נכפיל את ( 1 ) ב - : נכפיל את ( 2 ) ב - : נחבר את ( 3 ) ו -( 4 ) ונקבל : וזוהי בדיוק הגדרת הקמירות. אם אז ניתן להחליף כל ב - ולקבל “ קמירות ממש ” של.

17. 17 משפט ( LOG SUM INEQUALITY ): הוכחה : נניח בה ” כ כי הפונקציה היא קמורה ממש, כי חיובית לכל t חיובי.

18. 18 ( המשך ההוכחה )

19. 19 ( המשך ההוכחה )

20. 20 למשפט ה - Log sum inequality מספר שימושים. למשל, הוא מאפשר להוכיח את משפט אי - שוויון האינפורמציה : משפט ( אי - שוויון האינפורמציה ): הוכחה : אי - השוויון נובע ממשפט Log sum inequality, ושוויון מתקיים אםם קל לראות כי בהכרח C=1, כלומר

21. 21 הגדרה : נורמה בין שתי התפלגויות מוגדרת באופן הבא : נורמה מוגדרת ע ” י : למה : הוכחה : ראשית נוכיח את הלמה במקרה ה ” בינארי ”. נניח 2 התפלגויות בינאריות עם פרמטרים כאשר נראה כי : נשים לב כי :

22. 22 ההפרש בין שני צדדי אי - השוויון הוא : נסתכל על כקבוע ונגזור את לפי : מכאן, שכבור קבוע היא פונקציה מונוטונית יורדת. כמו - כן, כאשר נקבל ולכן והוכחנו את המקרה הבינארי.

23. 23 במקרה הכללי, עבור כלשהן נגדיר : נגדיר משתנה מקרי חדש, האינדיקטור של הקבוצה יהיו ההתפלגויות המקבילות עבור Y. ולכן זה נובע מאי - שוויון עיבוד המידע (data processing inequality), שלא יוכח כאן, שמשמעותו שכל מניפולציה שנעשה בנתונים לא תשפר את פוטנציאל ההסקה שלנו ( במקרה זה - לא תגדיל את המרחק בין ההתפלגויות ).

24. 24 לסיכום ההוכחה נראה כי אי - השוויון הראשון נובע מאי - שוויון עיבוד המידע, אי - השוויון השני הוכח כבר עבור המקרה הבינארי, השוויון האחרון נובע מהשוויון :