1. Fitness Landscape And Memetic Algorithm
Design

2. Fitness
Landscape

3. Fitness landscape – הפירוש של landscape הינו נוף
מתאים לתאר באמצעותו את היוריסטיקה באופטימיזציה של אלגוריתמי חיפוש
שימוש ביוריסטיקה כזו ניתן למצוא בחיפוש גנים טובים להישרדות בטבע

4. בעזרת מבנה הנוף (landscape) ניתן לצפות מראש את הביצועים ויעילות של אלגוריתמי חיפוש – עבור כל בעיה ספציפית

5. Fitness landscape of combinatorial problems
דוגמא ראשונה – Max Sat Problem
בהינתן Mפסוקיות הבנויות מ3 ליטרים: (x0,x1,x2)נרצה למצוא את ההשמה שמספקת את הכמות המרבית של פסוקיות.
את פונקציית המעברים (שכנים) ניתן להגדיר במספר אופנים, נבחר בדרך בה ההשמות נבדלות זו מזו בביט אחד בדיוק.
נגדיר פונקציית איכות עבור השמה כלשהי להיות מספר הפסוקיות אותה הינה מספקת. (ככל שמספקת יותר איכותית יותר ולהיפך)

6. 000
001
010
011
100
101
110
111

7. דוגמא שניה - traveling salesman problem (TSP)
פונקציית המעברים – swap.
פונקציית האיכות – אורך המסלול

8. 213
231
312
123
321
132

9. Fitness landscape - definition
L =(S, f , d)
השמות = פתרונות
המרחק בין שני פתרונות
פונקציית איכות
פונקציית הגובה

10. Properties of fitness landscapes
תכונה ראשונה:
חספוס - ruggedness
פערים בין איכויות של שכנים בנוף –
אם הנוף מחוספס קשה יותר לאלגוריתם לדעת מתי הוא מגיע להר הכי גבוה
אם במהלך צעדים על הנוף הגענו למצב כי ע"י צעד אחד עברנו ממקום נמוך למקום גבוה ולהפך , כלומר מעבר חד בשינויי הגבהים ניתן לומר כי הנוף הינו מחוספס

11. Properties of fitness landscapes
תכונה שניה:
Distribution of local optima
חלוקה בנוף כך שבמרכז הנוף נמצא ההר הגבוה ביותר, מסביבו הרים נמוכים ממנו וכן הלאה

12. Properties of fitness landscapes
תכונה שלישית:
אגני ניקוז –
אם נזרק בנקודה בסביבות ההר הגבוה אז אם אגן הניקוז הוא חזק סביר שנגיע לטופ של ההר

13. למד באוניברסיטה בניו יורק בשנים 1969-1973 לתואר ראשון במתמטיקה
בשנים קיבל את הדוקטורט שלו במתמטיקה בהתמחות בנושאי
הסתברות
אנליזה נומרית
אלגברה לינארית
תכנות הכולל מבני נתונים ובסיסי נתונים
פיתח נוסחה למציאת ממוצע החספוס בנוף נתון
Edward D. Weinberger

14. Autocorrelation Functions
מחשיבות החספוס למציאת אלגוריתם חיפוש יעיל הגיעו למסקנה כי ישנו צורך למציאת נוסחה לחישוב חספוס נוף בממוצע.
פונקציית חישוב ממוצע חספוס לפי ווינברגר הינה :
כדי שנוכל להבין מה זאת המפלצת הזאת ניזכר בכמה מושגים מהסתברות.

15. תזכורת מהסתברות מקדם המתאם: הינו מתאם לינארי בין שתי קבוצות של מספרים.
מקדם המתאם: הינו מתאם לינארי בין שתי קבוצות של מספרים.
כאשר מדובר בעיבוד נתונים סטטיסטי, ההתייחסות בדרך כלל היא לקשר סימטרי בין שני משתנים.
ערכי המדד נעים בין (1-) לבין (1+)
במתאם של 1+ מתקיים קשר חיובי מלא בין שני המשתנים.
במתאם של 1- מתקיים קשר שלילי מלא בין שני המשתנים.
מתאם של 0 פירושו שבין שני המשתנים אין שום קשר לינארי.
קשר חיובי: קשר שלילי:
שונות: מדד לפיזור הסטטיסטי של משתנה מקרי. הפיזור נמדד סביב התוחלת של המשתנה המקרי הנדון. השורש הריבועי של השונות מגדיר את "סטיית התקן" של המשתנה.

16. נתבונן בדוגמא הבאה:
נבחר בבעיית 3-sat עבור שלוש ליטרלים, ושתי הפסוקיות הבאות:
א. (X1 ^ X2)
ב. (X3 ^ X1)
יש לנו 3 ליטרלים ולכן ההשמות שלנו יהיו כלהלן:
000,001,010,011,100,101,110,111
כדי לחשב את נוסחת הautocorrelation עבור d=1,
נציג את כל הזוגות הנמצאים במרחק 1 זה מזה.

17. אלו זוגות במרחק 1?
000
001
010
011
100
101
110
111
לאחר שמצאנו את הזוגות נחשב את מקדם המתאם באמצעות הנוסחה הבאה:

18. כדי לחשב את מקדם המתאם נצטרך כמה נתונים:
תוחלת של X
תוחלת של Y
תוחלת של המכפלה של X וY
תוחלת של X בריבוע
תוחלת של Y בריבוע
נשלוף את הנתונים מהטבלה
ונציב

19. Autocorrelation function!!!
נתונים מהטבלה:
Autocorrelation function!!!
d=1
E(x)=E(y)
E(x^2)=E(y^2) = =
מכאן שחישוב ה-autocorrelation function
הוא בעצם חישוב מקדם המתאם = =

20. השלכות תוצאת חישוב Autocorrelation על הנוף:
ראינו כי הפונקציה זהה לפונקציית מקדם המתאם ועל כן נוכל להשליך את מסקנות מקדם המתאם על התוצאה.
מניסויים שערכו גילו כי הערכים המתקבלים מחישוב ה-autocorrelation נעים בין 0-1:
תוצאת החישוב שווה ל- 1 או קרובה אליו מתקיים קשר לינארי בין שתי נקודות בנוף, מה שאומר כי הנקודות קרובות באיכותן ועל כן הנוף חלק ומכאן שתוצאת החיפוש בו תהיה קלה.
תוצאת החישוב שווה ל- 0 פירושו שבין שתי נקודות בנוף לא קיים קשר לינארי, מה שאומר כי הנקודות רחוקות באיכותן ועל כן הנוף מחוספס ותוצאת החיפוש בו תהיה קשה.

21. באופן דומה ווינברגר ניסח את פונקצייתcorrelation random walk
שגם היא מחשבת את רמת חספוס הנוף בעזרת מספר צעדים רנדומלי .S (ולא מרחק)
תוחלת המכפלה
מכפלת התוחלות
שונות

22. אורך המתאם הינו כלי מדידה להשוואת נופים בהינתן מופע בעיה.
נגדיר את אורך המתאם
correlation length:
עבור הנוסחה השנייה – מרחק צעדים רנדומלי
עבור הנוסחה הראשונה – מרחק סטטי
אורך המתאם הינו כלי מדידה להשוואת נופים בהינתן מופע בעיה.
ככל שהאורך גדול יותר הנוף שטוח יותר וכתוצאה מכך קל יותר למצוא אלגוריתם חיפוש עבור הנוף.

23. מדוע צריך את אורך המתאם?
נראה בעצם כי זו הינה פונקציה ללא שינוי משמעותי מנוסחת הautocorrelation
נענה לשאלה זו באמצעות דוגמא:
נניח שיצאו לנו מנוסחת ה-autocorrelation שתי תוצאות עבור שני נופים שונים כלהלן:
תוצאה ראשונה (נוף א): ותוצאה שניה (נוף ב):
נציב בנוסחת אורך המתאם ונקבל:
עבור התוצאה הראשונה (נוף א):
ועבור התוצאה השנייה (נוף ב):
לאחר חישוב אורך המתאם ניתן להגיד בוודאות כי נוף א עדיף על נוף ב!
מכאן אנו רואים שכדי לבחון איזה נוף נעדיף, נוכל לראות את ההבדל באיכויות בצורה חדה ומובהקת יותר באמצעות חישוב אורך המתאם. מה שלא יכולנו לראות באמצעות חישוב הautocorrelation בלבד.

24. ניזכר בבעיית - traveling salesman problem (TSP)
במילים אחרות – מציאת מעגל המילטון בגרף

25. Node-exchange דרך לבניית נוף לבעיית ה TSPע"י שינוי מיקום הקדקודים 1 12 5
ונקבל פרמוטציה שונה 7 7 3 3 6 6 4 4 5 2
1,2,3,4,5,6,7
1,5,3,4,2,6,7

26. X X Edge-exchange החלפת קשתות – החלפת צלעות על גבי נוף נתון
דרך לבניית נוף ע"י קשתות X X

27. מנתוני הטבלה עולה כי:
עבור החלפת קשתות אורך המתאם גדול יותר מאורך המתאם של החלפת קדקודים.
מסקנה:
נוף עם החלפת הקשתות טוב יותר מהחלפת קדקודים

28. מדד נוסף לבדיקת הקשר בין איכות למרחק – Fitness Distance Correlation
בהינתן בעיה, נתונים שני פתרונות. האחד פתרון רנדומלי והשני הפתרון האופטימלי של הבעיה.
מדד זה קובע את הקשר בין המרחק מהפתרון האופטימלי (dopt) לבין האיכות של הפתרון במרחק זה (f)
בבעיות בהן לא נמצא פתרון אופטימלי, בודקים עם מדד זה ביחס לפתרון הטוב ביותר שנמצא עד כה.
ומכאן החיסרון במדד S
999
950
700 D 10 20

29. סיכום – מה ראינו עד עכשיו?
הגדרת המושג "נוף" (landscape) ו"איכות" (fitness)
תכונות של הנוף: 1. Ruggedness – חספוס
2. Distribution of local optima
3.אגני ניקוז
Autocorrelation- מציאת חספוס נוף בממוצע
Correlation length- אורך המתאם
Fitness Distance Correlation- הקשר בין איכות למרחק

30. Memetic Algorithm
Design

31. הקדמה ומוטיבציה
הוכח כי memetic algorithm יעיל הרבה יותר מכל מיני יוריסטיקות אחרות של אלגוריתמי חיפוש
דרך לבניית אלגוריתמים קלים יותר
בmemetic algorithms יש יתרון שניתן להתאים אלגוריתמים קיימים לבעיות חדשות
רק דברים ספציפיים צריכים שינוי בהתאם לבעיה הנתונה
יש כמה דרישות מקדימות בתכנון memetic algorithm

32. ייצוג וחיפוש מקומי
מציאת הייצוג לפתרון הבעיה קשור לחיפוש המקומי, בכך שייצוג הפתרון מגדיר את הנקודות בנוף ואז נוכל להריץ אלגוריתם חיפוש מקומי כלשהו כדי למצוא את השכנים עם אופרטור שייקבע בהמשך.
נעדיף לבחור את הנוף עם אורך המתאם הגבוה ביותר, כמו שהסברנו מקודם
ניקח לדוגמא את בעיית הTSP , כמו שראינו הנוף שבנינו באמצעות החלפת קשתות טוב יותר מהנוף עם בניית הקדקודים והוכח שאכן אלגוריתם חיפוש על נוף עם החלפת הקשתות יעיל יותר במציאת פתרון אופטימלי

33. מציאת פתרון התחלתי
באלגוריתמים שונים הפתרון ההתחלתי הוא בדרך כלל רנדומלי וממנו מתחילים להריץ חיפוש מקומי למציאת פתרונות נוספים
לעומת זאת בmemetic algorithm , ניתן להשתמש ביוריסטיקות רנדומליות שמייצרות מגוון רחב של פתרונות, והינן טובות עבור שילוב עם החיפוש המקומי
זה נותן לנו שני יתרונות:
פתרונות טובים יותר
יהיה מהיר יותר מאשר להריץ חיפוש על נקודות רנדומליות בנוף.
בדרך כלל משתמשים ביוריסטיקות חמדניות

34. יוריסטיקות חמדניות
במקום לבחור בצורה רנדומלית פתרון התחלתי נבחר באמצעות יוריסטיקה חמדנית
נסתכל לדוגמא בבעיות בביואינפורמטיקה - בגנים, אם יחס הגומלין בין הגנים גבוה אזי הבחירה החמדנית תהיה מושפעת.
אם הבחירה החמדנית לא טובה באלגוריתם, היא תגרום להשפעה משמעותית ועלולה לגרום לאיכות קטנה.
במקרים בהם אין קשר בין הגנים, כלומר כל בחירה של גן לא תלויה בבחירה הבאה, האלגוריתם יוכל למצוא את הפתרון האופטימלי ולכן במקרה כזה נעדיף אלגוריתם חמדני הבוחר לפי יחס גומלין נמוך. (מאחר ואין קשר בין הגנים)
מספר האיטרציות של אלגוריתם חיפוש בעזרת היוריסטיקות החמדניות הוכח כיעיל יותר מאשר בחירה רנדומלית.

35. בעיית Graph – Bi –Partition - GBP
בהינתן גרף G=(E,V)לא מכוון נרצה למצוא חלוקה של הגרף לשתי קבוצות קדקודים שוות בגודלן כך שמספר הקשתות החוצות מקבוצה ראשונה לשנייה, מינימלי.

36. לבעיית הGBP נתנו שני נופים שונים אחד ששמו Differential greedy והשני בשם Kernighan-Lin והשוו ביניהם בעזרת נוסחת fitness distance.

37. בדוגמא הזו נראה את הבעייתיות בבחירה חמדנית לא טובה.
מאחר ובמופע 2 יחס הגומלין נמוך , נראה כי הנוף של LIN עדיף על הנוף החמדני

38. ישנה נוסחה R(l)באמצעותה ניתן לגלות מהו המרחק בין שני מינימום לוקאליים.

39. Mutation And Recombination
אופרטור אונרי, המגדיר את פונקציית המעברים.
לדוגמא, נגדיר מעבר לשכן ע"י אופרטור ה-flip שראינו בו החלפנו רק ביט אחד.
Recombination
אופרטור בינארי גם כן מגדיר את פונקציית המעברים.
לדוגמא, אם מסתכלים על בעיות גנטיות , לוקחים שני הורים ומהם מייצרים דור חדש של ילדים באמצעות שזירה של התכונות מהאבא ומהאמא
0111
1100
0110
ניקח מהעליון איברים זוגיים ומהתחתון אי זוגיים
מניסויים שנערכו התגלה כי אם הנוף בנוי כבר, נעדיף recombination על mutation כדי לבצע קפיצות יעילות יותר בנוף

41. לסיכום
בפרק זה הצגנו:
שיטות לניתוח בעיות באופטימיזציה קומבינטורית לפיתוח אלגוריתמי חיפוש יעילים עם דגש על memetic algorithm
נוסחה לחישוב חספוס נוף כדרך לייצר נוף טוב יותר עבור memetic algorithm.
בפרט אורך המתאם שעוזר לחשב את האיכות, ככל שאורך המתאם גבוה יותר כך האיכות טובה יותר וכך גם החיפוש המקומי יהיה יעיל יותר
תכונות הנוף וחשיבותן עבור יעילות אלגוריתמי החיפוש.
יוריסטיקות חמדניות
תכנון memetic algorithm

42. תכנון memetic algorithm
הגדרת מועמד לפתרון של בעיה נתונה וקביעת פונקציית שערוך שבעזרתה נחשב את איכות הפתרון בהתאם לייצוג מועמד הפתרון – פונקציית איכות
מציאת אלגוריתם חיפוש למציאת שכנים לבניית נוף
מציאת פונקציית אתחול מתאימה
קפיצות מושכלות על הנוף