Fitness Landscape And Memetic Algorithm Design

Fitness Landscape

Fitness landscape – הפירוש של landscape הינו נוף מתאים לתאר באמצעותו את היוריסטיקה באופטימיזציה של אלגוריתמי חיפוש שימוש ביוריסטיקה כזו ניתן למצוא בחיפוש גנים טובים להישרדות בטבע

בעזרת מבנה הנוף (landscape) ניתן לצפות מראש את הביצועים ויעילות של אלגוריתמי חיפוש – עבור כל בעיה ספציפית

Fitness landscape of combinatorial problems דוגמא ראשונה – Max Sat Problem בהינתן Mפסוקיות הבנויות מ3 ליטרים: (x0,x1,x2)נרצה למצוא את ההשמה שמספקת את הכמות המרבית של פסוקיות. את פונקציית המעברים (שכנים) ניתן להגדיר במספר אופנים, נבחר בדרך בה ההשמות נבדלות זו מזו בביט אחד בדיוק. נגדיר פונקציית איכות עבור השמה כלשהי להיות מספר הפסוקיות אותה הינה מספקת. (ככל שמספקת יותר איכותית יותר ולהיפך)

000 001 010 011 100 101 110 111

דוגמא שניה - traveling salesman problem (TSP) פונקציית המעברים – swap. פונקציית האיכות – אורך המסלול

213 231 312 123 321 132

Fitness landscape - definition L =(S, f , d) השמות = פתרונות המרחק בין שני פתרונות פונקציית איכות פונקציית הגובה

Properties of fitness landscapes תכונה ראשונה: חספוס - ruggedness פערים בין איכויות של שכנים בנוף – אם הנוף מחוספס קשה יותר לאלגוריתם לדעת מתי הוא מגיע להר הכי גבוה אם במהלך צעדים על הנוף הגענו למצב כי ע"י צעד אחד עברנו ממקום נמוך למקום גבוה ולהפך , כלומר מעבר חד בשינויי הגבהים ניתן לומר כי הנוף הינו מחוספס

Properties of fitness landscapes תכונה שניה: Distribution of local optima חלוקה בנוף כך שבמרכז הנוף נמצא ההר הגבוה ביותר, מסביבו הרים נמוכים ממנו וכן הלאה

Properties of fitness landscapes תכונה שלישית: אגני ניקוז – אם נזרק בנקודה בסביבות ההר הגבוה אז אם אגן הניקוז הוא חזק סביר שנגיע לטופ של ההר

למד באוניברסיטה בניו יורק בשנים 1969-1973 לתואר ראשון במתמטיקה בשנים 1981-1987 קיבל את הדוקטורט שלו במתמטיקה בהתמחות בנושאי הסתברות אנליזה נומרית אלגברה לינארית תכנות הכולל מבני נתונים ובסיסי נתונים פיתח נוסחה למציאת ממוצע החספוס בנוף נתון Edward D. Weinberger

Autocorrelation Functions מחשיבות החספוס למציאת אלגוריתם חיפוש יעיל הגיעו למסקנה כי ישנו צורך למציאת נוסחה לחישוב חספוס נוף בממוצע. פונקציית חישוב ממוצע חספוס לפי ווינברגר הינה : כדי שנוכל להבין מה זאת המפלצת הזאת ניזכר בכמה מושגים מהסתברות.

תזכורת מהסתברות מקדם המתאם: הינו מתאם לינארי בין שתי קבוצות של מספרים. מקדם המתאם: הינו מתאם לינארי בין שתי קבוצות של מספרים. כאשר מדובר בעיבוד נתונים סטטיסטי, ההתייחסות בדרך כלל היא לקשר סימטרי בין שני משתנים. ערכי המדד נעים בין (1-) לבין (1+) במתאם של 1+ מתקיים קשר חיובי מלא בין שני המשתנים. במתאם של 1- מתקיים קשר שלילי מלא בין שני המשתנים. מתאם של 0 פירושו שבין שני המשתנים אין שום קשר לינארי. קשר חיובי: קשר שלילי: שונות: מדד לפיזור הסטטיסטי של משתנה מקרי. הפיזור נמדד סביב התוחלת של המשתנה המקרי הנדון. השורש הריבועי של השונות מגדיר את "סטיית התקן" של המשתנה.

נתבונן בדוגמא הבאה: נבחר בבעיית 3-sat עבור שלוש ליטרלים, ושתי הפסוקיות הבאות: א. (X1 ^ X2) ב. (X3 ^ X1) יש לנו 3 ליטרלים ולכן ההשמות שלנו יהיו כלהלן: 000,001,010,011,100,101,110,111 כדי לחשב את נוסחת הautocorrelation עבור d=1, נציג את כל הזוגות הנמצאים במרחק 1 זה מזה.

אלו זוגות במרחק 1? 000 001 010 011 100 101 110 111 לאחר שמצאנו את הזוגות נחשב את מקדם המתאם באמצעות הנוסחה הבאה:

כדי לחשב את מקדם המתאם נצטרך כמה נתונים: תוחלת של X תוחלת של Y תוחלת של המכפלה של X וY תוחלת של X בריבוע תוחלת של Y בריבוע נשלוף את הנתונים מהטבלה ונציב

Autocorrelation function!!! נתונים מהטבלה: Autocorrelation function!!! d=1 E(x)=E(y) E(x^2)=E(y^2) = = מכאן שחישוב ה-autocorrelation function הוא בעצם חישוב מקדם המתאם = =

השלכות תוצאת חישוב Autocorrelation על הנוף: ראינו כי הפונקציה זהה לפונקציית מקדם המתאם ועל כן נוכל להשליך את מסקנות מקדם המתאם על התוצאה. מניסויים שערכו גילו כי הערכים המתקבלים מחישוב ה-autocorrelation נעים בין 0-1: תוצאת החישוב שווה ל- 1 או קרובה אליו מתקיים קשר לינארי בין שתי נקודות בנוף, מה שאומר כי הנקודות קרובות באיכותן ועל כן הנוף חלק ומכאן שתוצאת החיפוש בו תהיה קלה. תוצאת החישוב שווה ל- 0 פירושו שבין שתי נקודות בנוף לא קיים קשר לינארי, מה שאומר כי הנקודות רחוקות באיכותן ועל כן הנוף מחוספס ותוצאת החיפוש בו תהיה קשה.

באופן דומה ווינברגר ניסח את פונקצייתcorrelation random walk שגם היא מחשבת את רמת חספוס הנוף בעזרת מספר צעדים רנדומלי .S (ולא מרחק) תוחלת המכפלה מכפלת התוחלות שונות 0000 0001 0011 0111 1111

אורך המתאם הינו כלי מדידה להשוואת נופים בהינתן מופע בעיה. נגדיר את אורך המתאם correlation length: עבור הנוסחה השנייה – מרחק צעדים רנדומלי עבור הנוסחה הראשונה – מרחק סטטי אורך המתאם הינו כלי מדידה להשוואת נופים בהינתן מופע בעיה. ככל שהאורך גדול יותר הנוף שטוח יותר וכתוצאה מכך קל יותר למצוא אלגוריתם חיפוש עבור הנוף.

מדוע צריך את אורך המתאם? נראה בעצם כי זו הינה פונקציה ללא שינוי משמעותי מנוסחת הautocorrelation נענה לשאלה זו באמצעות דוגמא: נניח שיצאו לנו מנוסחת ה-autocorrelation שתי תוצאות עבור שני נופים שונים כלהלן: תוצאה ראשונה (נוף א): 0.9999 ותוצאה שניה (נוף ב): 0.9998 נציב בנוסחת אורך המתאם ונקבל: עבור התוצאה הראשונה (נוף א): 9999.50 ועבור התוצאה השנייה (נוף ב): 4999.50 לאחר חישוב אורך המתאם ניתן להגיד בוודאות כי נוף א עדיף על נוף ב! מכאן אנו רואים שכדי לבחון איזה נוף נעדיף, נוכל לראות את ההבדל באיכויות בצורה חדה ומובהקת יותר באמצעות חישוב אורך המתאם. מה שלא יכולנו לראות באמצעות חישוב הautocorrelation בלבד.

ניזכר בבעיית - traveling salesman problem (TSP) במילים אחרות – מציאת מעגל המילטון בגרף

Node-exchange דרך לבניית נוף לבעיית ה TSPע"י שינוי מיקום הקדקודים 1 1 2 5 ונקבל פרמוטציה שונה 7 7 3 3 6 6 4 4 5 2 1,2,3,4,5,6,7 1,5,3,4,2,6,7

X X Edge-exchange החלפת קשתות – החלפת צלעות על גבי נוף נתון דרך לבניית נוף ע"י קשתות X X

מנתוני הטבלה עולה כי: עבור החלפת קשתות אורך המתאם גדול יותר מאורך המתאם של החלפת קדקודים. מסקנה: נוף עם החלפת הקשתות טוב יותר מהחלפת קדקודים

מדד נוסף לבדיקת הקשר בין איכות למרחק – Fitness Distance Correlation בהינתן בעיה, נתונים שני פתרונות. האחד פתרון רנדומלי והשני הפתרון האופטימלי של הבעיה. מדד זה קובע את הקשר בין המרחק מהפתרון האופטימלי (dopt) לבין האיכות של הפתרון במרחק זה (f) בבעיות בהן לא נמצא פתרון אופטימלי, בודקים עם מדד זה ביחס לפתרון הטוב ביותר שנמצא עד כה. ומכאן החיסרון במדד S 999 950 700 D 10 20

סיכום – מה ראינו עד עכשיו? הגדרת המושג "נוף" (landscape) ו"איכות" (fitness) תכונות של הנוף: 1. Ruggedness – חספוס 2. Distribution of local optima 3.אגני ניקוז Autocorrelation- מציאת חספוס נוף בממוצע Correlation length- אורך המתאם Fitness Distance Correlation- הקשר בין איכות למרחק

Memetic Algorithm Design

הקדמה ומוטיבציה הוכח כי memetic algorithm יעיל הרבה יותר מכל מיני יוריסטיקות אחרות של אלגוריתמי חיפוש דרך לבניית אלגוריתמים קלים יותר בmemetic algorithms יש יתרון שניתן להתאים אלגוריתמים קיימים לבעיות חדשות רק דברים ספציפיים צריכים שינוי בהתאם לבעיה הנתונה יש כמה דרישות מקדימות בתכנון memetic algorithm

ייצוג וחיפוש מקומי מציאת הייצוג לפתרון הבעיה קשור לחיפוש המקומי, בכך שייצוג הפתרון מגדיר את הנקודות בנוף ואז נוכל להריץ אלגוריתם חיפוש מקומי כלשהו כדי למצוא את השכנים עם אופרטור שייקבע בהמשך. נעדיף לבחור את הנוף עם אורך המתאם הגבוה ביותר, כמו שהסברנו מקודם ניקח לדוגמא את בעיית הTSP , כמו שראינו הנוף שבנינו באמצעות החלפת קשתות טוב יותר מהנוף עם בניית הקדקודים והוכח שאכן אלגוריתם חיפוש על נוף עם החלפת הקשתות יעיל יותר במציאת פתרון אופטימלי

מציאת פתרון התחלתי באלגוריתמים שונים הפתרון ההתחלתי הוא בדרך כלל רנדומלי וממנו מתחילים להריץ חיפוש מקומי למציאת פתרונות נוספים לעומת זאת בmemetic algorithm , ניתן להשתמש ביוריסטיקות רנדומליות שמייצרות מגוון רחב של פתרונות, והינן טובות עבור שילוב עם החיפוש המקומי זה נותן לנו שני יתרונות: פתרונות טובים יותר יהיה מהיר יותר מאשר להריץ חיפוש על נקודות רנדומליות בנוף. בדרך כלל משתמשים ביוריסטיקות חמדניות

יוריסטיקות חמדניות במקום לבחור בצורה רנדומלית פתרון התחלתי נבחר באמצעות יוריסטיקה חמדנית נסתכל לדוגמא בבעיות בביואינפורמטיקה - בגנים, אם יחס הגומלין בין הגנים גבוה אזי הבחירה החמדנית תהיה מושפעת. אם הבחירה החמדנית לא טובה באלגוריתם, היא תגרום להשפעה משמעותית ועלולה לגרום לאיכות קטנה. במקרים בהם אין קשר בין הגנים, כלומר כל בחירה של גן לא תלויה בבחירה הבאה, האלגוריתם יוכל למצוא את הפתרון האופטימלי ולכן במקרה כזה נעדיף אלגוריתם חמדני הבוחר לפי יחס גומלין נמוך. (מאחר ואין קשר בין הגנים) מספר האיטרציות של אלגוריתם חיפוש בעזרת היוריסטיקות החמדניות הוכח כיעיל יותר מאשר בחירה רנדומלית.

בעיית Graph – Bi –Partition - GBP בהינתן גרף G=(E,V)לא מכוון נרצה למצוא חלוקה של הגרף לשתי קבוצות קדקודים שוות בגודלן כך שמספר הקשתות החוצות מקבוצה ראשונה לשנייה, מינימלי.

לבעיית הGBP נתנו שני נופים שונים אחד ששמו Differential greedy והשני בשם Kernighan-Lin והשוו ביניהם בעזרת נוסחת fitness distance.

בדוגמא הזו נראה את הבעייתיות בבחירה חמדנית לא טובה. מאחר ובמופע 2 יחס הגומלין נמוך , נראה כי הנוף של LIN עדיף על הנוף החמדני

ישנה נוסחה R(l)באמצעותה ניתן לגלות מהו המרחק בין שני מינימום לוקאליים.

Mutation And Recombination אופרטור אונרי, המגדיר את פונקציית המעברים. לדוגמא, נגדיר מעבר לשכן ע"י אופרטור ה-flip שראינו בו החלפנו רק ביט אחד. Recombination אופרטור בינארי גם כן מגדיר את פונקציית המעברים. לדוגמא, אם מסתכלים על בעיות גנטיות , לוקחים שני הורים ומהם מייצרים דור חדש של ילדים באמצעות שזירה של התכונות מהאבא ומהאמא 0 1 2 3 0111 1100 --------- 0110 ניקח מהעליון איברים זוגיים ומהתחתון אי זוגיים מניסויים שנערכו התגלה כי אם הנוף בנוי כבר, נעדיף recombination על mutation כדי לבצע קפיצות יעילות יותר בנוף

לסיכום בפרק זה הצגנו: שיטות לניתוח בעיות באופטימיזציה קומבינטורית לפיתוח אלגוריתמי חיפוש יעילים עם דגש על memetic algorithm נוסחה לחישוב חספוס נוף כדרך לייצר נוף טוב יותר עבור memetic algorithm. בפרט אורך המתאם שעוזר לחשב את האיכות, ככל שאורך המתאם גבוה יותר כך האיכות טובה יותר וכך גם החיפוש המקומי יהיה יעיל יותר תכונות הנוף וחשיבותן עבור יעילות אלגוריתמי החיפוש. יוריסטיקות חמדניות תכנון memetic algorithm

תכנון memetic algorithm הגדרת מועמד לפתרון של בעיה נתונה וקביעת פונקציית שערוך שבעזרתה נחשב את איכות הפתרון בהתאם לייצוג מועמד הפתרון – פונקציית איכות מציאת אלגוריתם חיפוש למציאת שכנים לבניית נוף מציאת פונקציית אתחול מתאימה קפיצות מושכלות על הנוף