1. מודל הלמידה מדוגמאות Learning from Examples קלט: אוסף של דוגמאות פלט: קונסיסטנטי עם פונקציה f ב- C ז"א קונסיסטנטי עם S ז"א מודל הלמידה מדוגמאות Learning from Examples קלט: אוסף של דוגמאות פלט: קונסיסטנטי עם פונקציה f ב- C ז"א קונסיסטנטי עם S ז"א

2. פולינומיאלי בכל הפרמטרים חוץ ממספר הדוגמאות m בדרך כלל poly(s,n) זמן ריצת תכנית הלימידה פולינומיאלי בכל הפרמטרים אם קיים פתרון כנ"ל נומר ש- C ניתנת ללמידה מדוגמאות

3. דוגמא 1 : טרם בוליאני Term AND משתנים Variables ליטרלים Literal דוגמא: טרם בוליאני Term בגודל וניתן לחישוב בזמן זמן פולינומיאלי בלימידת טרם מדוגמאות

5. הטרם הגדול ביותר הקונסיסטנטי עם כל הדוגמאות החיוביות. לכן טרם המטרה T מקיים. זה שקול ל- לכן אין צורך לבדוק את הנקודות השליליות טרם המטרה T יכול להיות:

6. אלגוריתם ל- Term Input S L:={x 1,x 1,x 2,x 2,…,x n,x n } For all (a,1) in S Remove x i from L if a i =0 Remove x i from L if a i =1 Output L זמן למידה מתאימה Proper

7. דוגמא 2 : קלוז בוליאני Clause דה-מורגן Augustus De Morgan 1806-1871

8. דואליות תכונות משפט הדואליות 1 :אם ניתן ללמוד C מדוגמאות בזמן T אזי ניתן ללמוד C D מדוגמאות בזמן O(T) משפט הדואליות 2 :C ניתנת ללמידה מדוגמאות אם"ם C D ניתנת ללמידה מדומאות

9. דוגמא 3: DNF ו- CNF DNF הוא OR של טרמים CNF הוא AND של קלוזים Disjunctive Normal form Conjunctive Normal form

10. DNF ניתנת ללמידה מדוגמאות אם ניתן ללמוד אותו בזמן ולחזיר פונקציה ב- P/poly בגודל

11. משפט הדואליות 1 :אם ניתן ללמוד DNF מדוגמאות בזמן T אזי ניתן ללמוד CNF מדוגמאות בזמן O(T) משפט הדואליות 2 : DNF ניתנת ללמידה מדוגמאות אם"ם CNF ניתנת ללמידה מדוגמאות

12. אלגוריתם למידה ל- DNF מדוגמאות מה הבעיה? בעיה פתוחה: למידת DNF מדוגמאות

13. דוגמא 4: M DNF ו- MCNF MDNF הוא Monotone DNF הוא OR של טרמים מונוטונים – ללא שלילה משפט 1 :אם ניתן ללמוד MDNF מדוגמאות בזמן T אזי ניתן ללמוד DNF מדוגמאות בזמן O(T) משפט 2 : MDNF ניתנת ללמידה מדוגמאות אם"ם DNF ניתנת ללמידה מדוגמאות M DNF D = ?

14. רעיון ההוכחה:

15. הוכחה: יהי A אלגוריתם לימידה ל - M DNF נגדיר אלגוריתם B צריר להוכיח טענה 1: אם קיים DNF קונסיסטנטי עם S אזי קיים MDNF קונסיסטנטי עם S New טענה 2: אם h(x,y) קונסיסטנטי עם S New אזי h(x,x) קונסיסטנטי עם S זמן

16. דוגמא 5: k -DNF ו- k -CNF k -DNF הוא DNF עם טרמים בגודל לכל היותר k 2 -DNF משפט 1 :אם ניתן ללמוד k-MDNF מדוגמאות בזמן T אזי ניתן ללמוד k-DNF מדוגמאות בזמן O(T) משפט 2 : k-MDNF ניתנת ללמידה מדוגמאות אם"ם k-DNF ניתנת ללמידה מדוגמאות 2 -MDNF Valiant 2 -Term 2 -MTerm

17. אפשר להחליף כל טרם במשתנה יש לכל היותר טרמים אלגוריתם למידה ל - 2-MDNF מדוגמאות

18. זמן לימידת קלוז עם n משתנים זמן לימידת קלוז עם n 2 משתנים זמן לימידת 2-MDNF מה גודל ההיפטזה?

19. זמן לימידת קלוז עם n משתנים זמן לימידת קלוז עם n k משתנים זמן לימידת k -MDNF מה גודל ההיפטזה? יש לכל היותר טרמים

20. משפט 1 : ניתן ללמוד k-DNF מדוגמאות בזמן O(m n k ) עם הפטזה בגודל O(n k ) משפט 2 : ל- k קונסטנטה k-DNF ניתנת ללמידה. האם אפשר להקטין את גודל ההפטזה?

21. לבקר שוב למידת טרם

22. 12 3 4 56 7 8 910 11 12 Set Cover פלט: מספר מינימלי של קבוצות S i המכסות את U ז"א, האחוד שלהם הוא U קלט:

23. 12 3 4 56 7 8 910 11 12 קלט:

24. משפט 1: בעית Set Cover היא NP-Complete משפט 2: קיים אלגוריתם שרץ בזמן פולינומיאלי ונותן כסוי בגודל (log |U|) k כאשר k הוא הפתרון האופטימלי.

25. בעית Set Cover למצא מספר מינימלי של קבוצות שאחודם שווה ל- U בעית Set Coverהיא NP-Complete

26. בעית Set Cover יש אלגוריתם קרוב שנותן פתרון

27. משפט: ניתן ללמוד k-DNF מדוגמאות בזמן O(m n k ) עם הפטזה בגודל O(size DNF ( f ) n) הוכחה: גודל ההיפטזה לכל היותר ולכן ו- במקום O(n k )

28. בעיה פתוחה : ללמוד k-DNF בזמן פולינומיאלי עבור k=ω(1) כלשהו משפט: ניתן ללמוד k-DNF מדוגמאות בזמן O(m n k ) עם הפטזה בגודל O(size DNF ( f ) n)

29. דוגמא 6: k -term DNF ו- k -clause CNF k -term DNF הוא DNF עם k טרמים 3 -term DNF משפט : מתכונת הדיסטריבוטיביות distributiveהוכחה :

30. משפט 1 : ניתן ללמוד k-term-DNF מדוגמאות בזמן O(mn k ) עם הפטזה בגודל O(n k ) משפט 2 : ל- k קונסטנטה k-term-DNF ניתנת ללמידה. בעיה פתוחה : ללמוד k-term-DNF עם הפטזה קטנה או בזמן פולינומיאלי עבור k=ω(1) כלשהו

31. פתרון טריויאלי פתרון יעיל s מכיל גודל פונקצית המטרה, גודל x קצת חזרה

32. פולינומיאלי בכל הפרמטרים חוץ ממספר הדוגמאות m זמן ריצת תכנית הלימידה פולינומיאלי בכל הפרמטרים אם קיים פתרון כנ"ל נומר ש- C ניתנת ללמידה מדוגמאות

33. פתרון לא טריויאלי= פתרון דוחס אם קיים פתרון לא טריויאלי נומר ש- C ניתנת ללמידה לא טרויאלית מדוגמאות

34. דוגמא 7 : מצולע קמור - Polygon k צלעות s הוא k פתרון יעיל מצולע עם poly(k ) צלעות פתרון לא טריויאלי מצולע עם צלעות

36. m נקודות m 2 קוים זמן זמן פולינומיאלי למשולש, מרובע, מחומש

37. מספר צלעות k log |U| <k log m פתרון לא טריויאלי זמן

38. משפט 1 : Polygon במרחב במימד 2 ניתנת ללמידה לא טרויאלית מדוגמאות משפט 2 : Polygon במרחב במימד קבוע ניתנת ללמידה לא טרויאלית מדוגמאות בעיה פתוחה : למידת Polygon במרחב במימד dבזמן פולינומיאלי poly(k,d) בעיה פתוחה : למידת חיתוך שני Halfspace במרחב במימד dבזמן פולינומיאלי poly(k,d)

39. DNF ניתנת ללמידה לא טרויאלית מדוגמאות אם ניתן ללמוד אותו בזמן ולחזיר פונקציה ב- P/poly בגודל