1. מבוא ללמידה והתנהגות: התניה ומח
למה מח?  התנהגות
למה למידה?  כיוון ההתנהגות
ניבוי של ארועים חשובים
שליטה לאור הציפיות
סוגי למידה שונים במח (supervised, unsupervised, RL) – נתמקד בהתניה בלבד (פסיכולוגיה, RL).
התניה/RL: למידה בסיסית, ללא מורה, זו שביומיום אנו נוטים להתעלם ממנה (אך מובילה את חיינו) – דוגמאות – כיצד לפתוח חלון ודלת, איך עונים לטלפון, מתי להמנע מתנור חם, מתי להתכופף כדי שלא יפגע בנו כדור, מתי ללבוש סוודר

2. שלושה נדבכים הבעיה: ניבוי והתנהגות אופטימלים
David Marr’s three levels of analysis:
מודלים נורמטיבים
(אופטימיזציה)
Ethology: - optimal foraging
- exploration etc.
Computation: - dynamic programming
- Kalman filtering
התנהגות ותאוריה
Psychology: - classical cond.
- instrumental cond.
Algorithm: - TD/delta rules, simple weights
- representational learning
בסיס מוחי/נוירונלי
Neurobiology:
Implementation:
neuromodulatory systems
basal ganglia, cortex

3. התנהגות: התניה
הבעיה: איך בע"ח לומדים ניבוי (prediction) ושליטה (control)?
השיטה: התנהגות מורכבת – ריבוי מנגנונים ואינטראקציות  תכנון ניסויים שיביאו לידי ביטוי אחד ויורידו למינימום השפעתם של אחרים. זהירות: דיכוטומיות
שני סוגי התניה: 1. התניה קלאסית (ניבוי)
2. התניה אופרנטית (שליטה)
דברים שיהיו חשובים:
- מה נלמד? (תכולת אינפורמציה – תזמון, ערך, סוג חיזוק וכו')
- באילו תנאים מתקיימת הלמידה? (סמיכות, הפתעה וכו')
מושגים: ייצוג, אסוסיאציה, סמיכות, מפה קוגניטיבית
Whatever is good to know is hard to learn – Greek proverb

4. מודלים חישוביים
הבעיה: ניבוי והתנהגות אופטימלים, הסבר לתופעות התנהגותיות
השיטה: מודלים תאוריים (R-W), מודלים נורמטיבים (RL, בייסיאנים), box and arrow), curve fitting, מודלים פיסיולוגיים)
שימו לב: בחירה אישית של סוג המודלים
דברים שיהיו חשובים:
- מהם המגבלות (constraints) שההתנהגות מציבה?
מהם האספקטים ההתנהגותיים/חישוביים שהמודל תופס ומאילו הוא מתעלם?
איך המודלים מעצבים את המחקר הניסויי ?
מושגים: value, forward model, cache, generative model
למה value? – common currency בכדי להשוות תפוחים לתפוזים ולבחור דרך התנהגות אחת
מודל קדימה – מודל של העולם
Cache – קיצור דרך לחישוב ללא מודל של העולם
Generative model – הסקה של latent causes ע"י חוק בייס
All models are wrong, some models are useful – G. Box

5. מנגנונים מוחיים
הבעיה: כיצד המח מממש למידה, ניבוי ושליטה (action selection)?
השיטה: רישומים בחיה מתנהגת, הדמיות (fMRI, EEG, PET), פגיעות (lesions), פרמקולוגיה
דברים שיהיו חשובים:
- הכללות: תפקיד כללי של אזור/נוירומודולטור
- הבחנות: דיסוסיאציות בין תפקידים/אזורים/נוירומודולטורים
מושגים: דופמין, סרוטונין, Ach, נוראדרנלין, גרעינים בזליים, אמיגדלה, קורטקס פרונטלי, היפוקמפוס, (סינפסות, רצפטורים)
In theory, there is no difference between theory and practice, but not in practice. - Anonymous

6. הדבק בין הרמות: "היער" מה הבעיה הכללית
סוגים (classes) של פתרונות לבעיה
אזהרה: יותר שאלות פתוחות מתשובות ברורות

7. פרטים טכניים מתי ואיפה מתכונת דרישות:
השתתפות פעילה וחשיבה ביקורתית
קריאה לפני כל השיעור
4 מתוך 5 תרגילים (20%, הגשה בזמן)
מבחן מסכם (70%, מבחן בית)
מי לא צריך להיות פה (זה לא הקורס של טלי, זה לא קורס בפסיכולוגיה קוגניטיבית, זה לא קורס קל)
אתר הקורס:

8. למידה: הגדרה
בעיות אפשריות בהגדרה:
לא תמיד מדובר ברכישת התנהגות חדשה (אולי דווקא בהמנעות מהתנהגות קיימת?)
לא תמיד יש ללמידה תועלת ברמת הפרט (למידת דעות קדומות, הפרעות נפשיות נלמדות)
למידה לא תמיד מכוונת (למידה של סדר השירים בתקליט, סוג הרכב של השכנים)
שינוי התנהגות – לא זמני (עייפות, שינוי מוטיבציוני, הביטואציה)
תוצר של נסיון בניגוד להבשלה (maturation) (הליכה, דיבור – קשה להפריד מולד מנלמד)
שינוי במנגנוני התנהגות – לא תמיד הלמידה מתבטאת מיד, אלא רק נוצר פוטנציאל לביטויה (latent learning למשל, וביצוע מול למידה)
שינוי מתמשך במנגנוני ההתנהגות בסיטואציה מסוימת, שנגרם בעקבות התנסות חוזרת בסיטואציה זו, ובתנאי שאי אפשר להסביר את השינוי בהתנהגות ע"י נטיות ההתנהגות המולדת של האורגניזם/התבגרות או מצב זמני.

9. היסטוריה: העבר הרחוק
Nativism - הידע הוא מולד ולמידה היא הזכרות במה שכבר קיים ב-mind
Empiricism (אריסטו) - הידע נלמד. ההתנסות (הנסיון) היא המקור היחיד לידע
Associationism – שני מנגנונים בתהליך רכישת הידע:
ייצוג פנימי של מושגים פשוטים שמועתקים למאגר זכרון
יצירת מושגים מורכבים ע"י קישור בזכרון של רעיונות פשוטים שקרו יחד.
אסוסיאציות יכולות לשמר רצף ארועים בזמן, או רצף נסיבתי (דוג': אם B קרה מיד אחרי A, תרשם בזכרון אסוסיאציה בין a ל-b.
לאחר שנוצרת אסוסיאציה בין שני מושגים, אחד יגרום להתעוררות של הייצוג של השני.
"צפייה, תכנון, הסבר" – קריאה בשני הכיוונים מסבירה חשיבה מופשטת
Darwin - ההנחה הבסיסית היא שקיימים תהליכי למידה כלליים לכל האורגניזמים. נובע מכך שכולם פותרים את אותה בעיה – הצורך לנבא מתי ואיך מתרחשים מאורעות חשובים (השרדותית) בסביבה. זו הבעיה של למידת קשרי סיבה ותוצאה. המשכיות מינים וטשטוש גבול גוף/נפש: פתח למחקר של למידה גם בבע"ח.

10. היסטוריה: "השיטה המדעית"
הפסיכולוגיה כתחום, ושיטות המחקר בפסיכולוגיה אמפירית, צמחו במידה רבה מהתחום של חקר למידת בעלי חיים דרך חקר התנהגות, בעיקר בעקבות המעבר לשיטה המדעית.
התנהגות: ניתנת לכימות (מדידה), פומבית, ניתנת לשחזור
עבודה עם בע"ח קריטית בעיקר לשחזור (שליטה טובה במשתנים המחקריים)
Behaviorism (1960s)
על תאוריות למידה לחפש החוקים שקובעים איך התנהגות תשתנה בעתיד בעקבות התנסויות העבר. מאפיינים עיקריים: התנהגות נצפית, השפעת גורמים חיצוניים
המח כקופסא שחורה; המנעות מגורמים מתערבים
שמות:
Pavlov ( ) – התניה קלאסית, stimulus substitution (ריור)
Thorndike ( ) – התניה אופרנטית, law of effect (puzzle box)
Watson ( ) – אבי הבהביוריזם (Albert)
Skinner ( ) – התניה אופרנטית, בהביוריסט, Skinner box, schedules
Tolman( ) – מפות קוגניטיביות, goal-directed, cog. behaviorism
למה היסטוריה ושמות? מדע נעשה ע"י אנשים – זרמים ואמונות (עד כדי דת) מציבים מגבלות על סוג השאלות שאדם ישאל, ועל סוג התשובות שהוא יראה כסבירות. קונטקסט חשוב להבנת התרומה והמקום של תאוריות שונות.
ברוסיה – Pavlov – פיסיולוג, חקר רפלקסים במערכת העיכול וגילה שניתן "ללמוד" רפלקסים. כלומר, רפלקסים שמתווכים ע"י מנגנונים מוחיים, הם לא רק מולדים. מעבודתו התפתח התחום של התניה קלסית. הגדרה של התניה קלסית – הסמיכות אינה תלויה בפעולת החיה, שאינה נעשית במטרה לגרות לחיזוק. הכלב של פבלוב.
בארה"ב – Thorndike – חקר את האינטליגנציה של בעלי חיים. גילה שהם יכולים ללמוד לפתור בעיות (יכולת לשנות התנהגות עפ"י תוצאותיה). הוא הסיק מכך שלמידה יוצרת קשר בין גירוי לתגובה כך שהגירוי מעורר באופן אוטומטי את התגובה (כלומר, ממשיך להחזיק בדעה שהתנהגות בע"ח היא רפלקסיבית, אוטומטית, ולא רצונית, אלא מעוררת ע"י גירויים). מעבודתו התפתח התחום של התניה אופרנטית. הגדרה של התניה אופרנטית – הסמיכות תלויה בפעולה של החיה. חולדה בקופסת סקינר.

11. התניה קלאסית

12. התניה קלאסית

13. התניה קלאסית
פרוצדורה בסיסית – הגדרה אופרציונלית של ההתניה. אבל – מה נלמד? מה התנאים ללמידה? מההתניה הבסיסית לא ניתן לדעת – צריך וריאציות על ההתניה הבסיסית, שהן מורכבות יותר. דוג' – יחסים טמפורלים, חיזוק גם על רקע הקונטקסט, שילוב גירויים, הכחדה

14. התניה אופרנטית
הגדרה אופרציונלית – האם זו אותה צורת למידה כמו קלאסית?

15. מח: הקדמה
רוב המח: קלט (עיבוד סנסורי) ופלט (מוטורי). לא נדבר לא על זה ולא על זה. בתווך ביניהם – קבלת ההחלטה עפ"י הקלט לגבי דרך הפעולה. בזה נתעניין.

16. Ventral Striatum (Nucleus Accumbens)
Dorsal Striatum (Caudate, Putamen)
Prefrontal cortex
Amygdala
Ventral Striatum (Nucleus Accumbens)
Ventral Tegmental Area
Substantia Nigra
החשיבות של נוירומודלטורים, basal ganglia