Boosting a Weak Learning Algorithm by Majority By : Yoav Freund

מהלך השיעור :  הגדרת מושגים  מה זה Boosting?  תיאור משחק "הצבעת רוב " - Majority Vote Game  אלגוריתמי קירוב :  אלגוריתם Bsamp : Boosting by subsampling  אלגוריתם Bfilt : Boosting by filtering

הגדרות Instance Space X – קב' של אובייקטים מושג c – פונקציהc : X → {0,1} קבוצת מושגים C – קבוצה של מושגים c מעל X אורקל EX – פרוצדורה המחזירה מופע עם התווית שלו c(x). x נבחר מעל התפלגות לא ידועה D. הזוג ייקרא דוגמא. נניח כי סיבוכיות הזמן של EX הינה O(1)

מה זה Boosting? אלגוריתם Boosting הינו אלגוריתם למידה שמשתמש באלגוריתם למידה אחר כתת שגרה מטרת אלגוריתם ה-Boosting הינה יצירת היפותזה בעלת דיוק גבוה ביעילות, ע"י שימוש באלגוריתם למידה יעיל אשר יכול ליצור היפותזות בעלות דיוק נמוך. Boosting עובד על ידי הרצת אלגוריתם הלמידה מספר פעמים מעל מרחב הדוגמאות X, כאשר בכל פעם ממקדים את תשומת לב הלומד על דוגמאות שונות. ההיפותזות שהתקבלו בהרצות השונות משולבות ליצירת היפותזה בעלת דיוק גבוה.

Boosting נתונים: התפלגות D,מושג c  C, אלגוריתם למידה חלש WeakLearn עם פרמטרים  האלגוריתם WeakLearn מקבל כקלט m 0 דוגמאות ופולט היפותזה h: WeakLearn (x 1,l 1 ),(x 2,l 2 )…(x m0,l m0 ) היפותזה h error D (h)=P x:D (h (x)  c (x)  מובטח בהסתברות לפחות

Boosting WeakLearn (x 1,l 1 ),(x 2,l 2 )…(x m0,l m0 ) היפותזה 1 h WeakLearn (x 1,l 1 ),(x 2,l 2 )…(x m0,l m0 ) היפותזה h 2 WeakLearn (x 1,l 1 ),(x 2,l 2 )…(x m0,l m0 ) היפותזה h k מעל D 1 מעל D 2 מעל D k היפותזה סופית: h M =F(h 1,h 2,…,h k )

הגדרת מושגים: X מרחב מדגם (instance space) : קבוצה של אובייקטים. σ-algebra :A היא σ-algebra מעל מרחב מדגם X אם היא תת-קבוצה של P(X). מידת הסתברות (Probability measure) : פונקצית הסתברות מעל מרחב מדגם, שנותנת הסתברות לכל נקודה במרחב. מרחב הסתברות (probability space) : היא השלישייה המורכבת מ: מרחב מדגם X, Σ σ-algebra מעל X, ו V מידת הסתברות.

Majority Vote Game במשחק משתתפים שני שחקנים: בוחר (Chooser) שוקל (Weightor) המשחק מוגדר מעל מרחב הסתברות : X : מרחב מגדם. Σ : σ-algebra מעל X. V : מידת הסתברות מעל X.

מהלך המשחק המשחק מתבצע באיטרציות, כאשר בכל איטרציה: השוקל מקצה לכל נקודה במרחב המדגם משקל מסויים. הבוחר בוחר קבוצת נקודות UєΣ כך שיתקיים: W(U) ≥ ½ + γ ( כאשר 0<γ≤½ קבוע שנקבע לפני תחילת במשחק ) ומסמן את הנקודות שנבחרו. המשחק ממשיך כל עוד השוקל לא החליט לסיימו.

תוצאות המשחק כשהמשחק מסתיים, אחרי k אטרציות, נחזיר תת- קבוצה R  X אשר תכיל את הנקודות שנבחרו יותר מ k/2 פעמים. R תיקרא Reward set, ו- V(R) יהיה ה"רווח" (reward). מטרת השוקל היא : למקסם את הרווח !

דוגמה למשחק X V 1/6 מרחב ההסתברות : : Chooser : Weightor γ = ⅓

דוגמה למשחק – המשך : 1/6 איטרציה 1 :

דוגמה למשחק – המשך : 1/6 W(U) = 1/6 * 5 = 5/6 ≥ ½ + γ = 5/6

דוגמה למשחק – המשך : 1/6 1/ Weightor Chooser Weightor Chooser

דוגמה למשחק – המשך : 1/6 1/ Weightor Chooser Weightor Chooser Weightor Chooser 0 1/6 1/3 0 1/6 1/3

דוגמה למשחק – המשך : 1/6 1/ Weightor Chooser Weightor Chooser Weightor Chooser 0 1/6 1/3 0 1/6 1/3

דוגמה למשחק – המשך : R צריכה להכיל את הנקודות שנבחרו יותר מפעמיים: R = {,, } V(R) = V( )+V( )+V( ) = 1/6 + 1/6 + 1/6 V(R) = Reward = 1/2

אסטרטגיה ?! השאלה בה נדון עכשיו היא : האם קיימת אסטרטגיה מסויימת, ללא תלות במרחב ההסתברות, אשר מבטיחה לשוקל "רווח" (reward) מקסימלי ? והתשובה היא שאכן קיימת אסטרטגיה כזו: נתאר אסטרטגיה כללית לשוקל כך שלכל מרחב הסתברות ולכל ε,δ > 0 השוקל מבטיח שהרווח גדול מ 1-ε אחרי לכל היותר ½(1/γ)²ln(1/ε) אטרציות.

הצגת האסטרטגיה תחילה ניתן אינטואיציה לאסטרטגיה שנציג בהמשך. נציג את אסטרטגית השקילה ונראה את החסם על הרווח שהיא מבטיחה נראה שאסטרטגיה זו היא האופטימלית מעל מרחב הסתברות רציף, ע"י הצגת אסטרטגיה תואמת עבור הבוחר.

סימונים יהי k מספר האטירציות במשחק. לכל נגדיר,כאשר : - הקבוצה שמכילה את הנקודות שסומנו בדיוק r פעמים אחרי i איטרציות. לפי סימון זה : באטרציה ה- i, הבוחר מחליט לכל נקודה ב- אם לסמן אותה ואז הנקודה תהיה גם ב, או לא לסמנה והיא תהיה ב.

קצת אינטואיציה : אבחנה 1: ע"י הקצאת יותר משקל לנקודות מסויימות, השוקל מכריח בכך את הבוחר לבחור יותר מנקודות אלה, בפרט, ע"י הקצאת כל המשקל לנקודה אחת, השוקל מבטיח מכך שנקודה זו אכן תיבחר. אבחנה 2: אם r>k/2 אז נקודות השייכות ל - נמצאות בוודאי ב- Reward Set..  הנקודות היחידות שצריכות לקבל משקל חיובי ממש באיטרציה האחרונה הן הנקודות שנמצאות ב.

אסטרטגית השקילה : כעת נציג אסטרטגיה המתאימה לאינטואיציה שהצגנו לעיל : נקצה לכל קבוצה,, פקטור שקילה -, שמוגדר בצורה אינדוקטיבית כנ"ל : או בצורה ישירה :

משפט 2.1 : ( ללא הוכחה ) לכל מרחב הסתברות ולכל, אם השוקל משחק את "משחק הצבעת רוב " k איטרציות, כאשר k מקיים : ונשתמש בשקילה הנ"ל באיטרציה ה- i : לכל : אז הרווח בסוף המשחק הוא לפחות, ללא תלות באסטרטגית הבוחר.

אופטימאליות סכמת השקילה : נציין כי סכמת השקילה שתיארנו לעיל היא אופטימלית, בכך שהיא מבטיחה לשוקל הפסד מינימלי ב- k אטרציות. מראים זאת ע"י הצגת אסטרטגיה לבוחר שמבטיחה הפסד שהוא לפחות בגודל ההפסד שהאסטרטגיה לעיל מבטיחה.

בחזרה ל- Boosting...

הגברת לומד חלש ע " י הצבעת רוב הגדרות פורמאליות בהקשר של למידה אלגוריתם מרכזי B Samp – Boosting by Sub-sampling אלגוריתם משופר B Filt – Boosting by Filtering

הגדרות – היפותזה היפותזה h: תיאור אלגוריתם אשר בהינתן קלט x  X פולט תווית בינארית, תווית זו נקראת הפרדיקציה של h לתווית c(x) דיוק היפותזה P x:D (h (x) =c (x) )= ההסתברות מעל התפלגות D מעל X, שההיפותזה מנבאת נכון את התווית שמחזיר המושג c על x שגיאת היפותזה P x:D (h (x) ≠ c (x) ) נאמר כי h הינה ε-טובה אם השגיאה של ההיפותזה הינה לכל היותר ε ביחס למושג c ולהתפלגות D

הגדרות – אלגוריתם למידה מטרה – ללמוד קירוב למושג c נתון – C קבוצת מושגים, EX אורקל פלט – האלגוריתם עובד בזמן סופי ופולט היפותזה h שמקרבת את c נאמר כי אלגוריתם למידה A הינו בעל סיבוכיות מדגם אוניפורמית, אם לכל, לכל D,לכל, בהינתן כקלט, A מבצע קריאות ל-EX לכל היותר, ופולט היפותזה h כך שבהסתברות מתקיים באותו אופן נגדיר סיבוכיות זמן אוניפורמית וסיבוכיות מקום אוניפורמית

WeakLearn : נסמן ב- WeakLearn את אלגוריתם הלמידה שנרצה לבצע לו Boosting היפותזות שנוצרות ע"י WeakLearn יקראו היפותזות חלשות ביצועים של WeakLearn: קיימים,, כך שבהינתן m 0 דוגמאות עם תוויות לפי, אזי בהסתברות לפחות, WeakLearn פולט היפותזה חלשה - טובה נסמן ב- m 0, t 0, s 0, את החסמים האוניפורמיים הדרושים ע"י WeakLearn להשגת הדיוק הנ"ל. נגדיר שני מדדים שמעריכים את מרחק WeakLearn מאלגוריתם רנדומאלי:,

WeakLearn האלגוריתמים שמוצגים במאמר יוצרים היפותזות עם דיוק שרירותי ואמינות גבוהה כאשר המשאבים שנצרכים ע"י האלגוריתמים הינם חסומים אוניפורמית בתלות לוגריתמית או פולינומית נמוכה בפרמטרים

אלגוריתם B samp – Boosting by Sub-sampling האלגוריתם עובד עם קבוצת דוגמאות קבועה S בגודל m מוצא היפותזה עקבית עם S תוך שימוש בעקרונות משחק הצבעת רוב על מנת ליצור היפותזה עקבית עם S, B samp יוצר היפותזות חלשות שונות באמצעות קריאה ל- WeakLearn ושינוי ההתפלגות מעל S. מטרת שינוי ההתפלגות הינה שליטה על מיקום השגיאות, כך שלאחר קבלת מספר קטן של היפותזות חלשות, אחוז ההיפותזות החלשות שנותנות סיווג נכון לכל דוגמה ב- S גדול מחצי. פלט – h M, היפותזת הצבעת רוב על ההיפותזות החלשות שהתקבלו במהלך הרצת B samp

קלט ל- B samp : m – גודל המדגם איתו יעבוד האלגוריתם EX – אורקל WeakLearn – אלגוריתם למידה חלש, אשר בהסתברות גדולה מ- פולט  היפותזה  חלשה  עם  שגיאה  קטנה  מ   יצירת קבוצת מדגם בגודל m המשקלים קובעים התפלגות מעל S - מספר הפעמים שהיפותזות חלשות מסווגות נכון את B samp

B samp - המשך בשלב ה- i, יוצרים היפותזה h i עם שגיאה קטנה מ -   ביחס  למשקלים  נוכחיים  נשים  לב  כי  צעד  זה  יכול  להיכשל  מספר כלשהו  של  פעמים  עדכון r j ו- w j החזרת היפותזה סופית h M, שהיא הצבעת רוב על h 1 …h k

אלגוריתם - FiltEX תת-השגרה FiltEX קובעת את ההתפלגות מעל S, באמצעות המשקולות w j – ההסתברות לבחירת דוגמא מסוימת x j הינה w j. מחזירה דוגמא (x j,l j ) בהסברות w j.

הקבלת Boosting למשחק הצבעת רוב שוקל – האלגוריתם B samp בוחר – WeakLearn.ההחלטה של הבוחר לסמן נקודה מקבילה להחלטה של WeakLearnליצור היפותזה חלשה שמסווגת נכון את הנקודה. המרחב הוא קבוצת הדוגמאות S,כאשר ההתפלגות הינה אוניפורמית. המשקל של נקודה הינו המשקל שנקבע ע"י B samp קב' הרווח – קב' הנקודות עליהן הצבעת הרוב מעל ההיפותזות החלשות נותנת תווית נכונה. הסתברות להפסד – נסמן קב' ההפסד ב- L,אזי ההסתברות להפסד היא /|S||L|

עקביות של h M משפט: אם כל ההיפותזות שמשומשות ע"י B samp הינן    –  טובות  אזי  h M עקבית  על  S. הוכחה: מההשוואה עם משחק הצבעת הרוב, וממשפט שהוכחנו מתקיים כי השגיאה של h M קטנה מ- 1/m. כעת, מכיוון שמדובר על התפלגות אוניפורמית מעל S והשגיאה שווה ל- /|S||L|, אזי L=  h M  עקבית  עם  S 

מה נותר להראות ? צריך למצוא m, כך שלהיפותזה הנוצרת ע"י Bsamp (שהיא עקבית על S), תהיה שגיאה קטנה על נקודות מחוץ ל- S. צריך להראות שהאלגוריתם משתמש במשאבים – זיכרון וזמן, חסומים אוניפורמית.

מציאת m – גודל המדגם S משפט: יהי WeakLearn אלגוריתם למידה דטרמיניסטי אשר בהסתברות  יוצר  היפותזה  עם  שגיאה  קטנה  מ   מעל ההתפלגות  שלומדים  איתה   נניח  כי  מספר  הדוגמאות  ש  WakLearn  צריך  על  מנת  להשיג  דיוק ואמינות  הנ  ל  חסום  אוניפורמית  ע  י  m 0   אזי  לכל  אם  Bsamp  ישתמש  במדגם  S  בגודל אזי בהסתברות קטנה מ-  השגיאה  של  h M  גדולה  מ 

חסמים על משאבים של B samp סיבוכיות זמן: יצירת מדגם S – O(m) זמן לולאה ראשית מתבצעת k פעמים, כאשר כל פעם מבצעים O(m*l) פעולות לכל היותר. לכן סיבוכיות כוללת (Õ(1/  סיבוכיות זיכרון: גודל S – m מספר דוגמאות שבהן משתמש WeakLearn הינו לכל היותר לכן, סיבוכיות מקום כוללת הינה (Õ(1/  O(m)=

הבעיה : Bsamp מאחסן את כל הדוגמאות בזיכרון !

אלגוריתם Bfilt – Boosting by Filtering המבנה של האלגוריתם Bfilt דומה למבנה של Bsamp, המטרה של שניהם היא ליצור התפלגויות שונות בהתאם לאופן השקילה שהוצג במשחק. האלגוריתם בוחר את הדוגמאות שיישמשו כקלט לאלגוריתם WeakLearn בדרך ישירה, מעל התפלגות D.

סיבוכיות זמן ומקום : סיבוכיות זמן ריצת האלגוריתם : סיבוכיות מקום :

The End