1. התניה אופרנטית II: מטרות והרגלים
מבוא ללמידה והתנהגות: התניה ומח
שעור 6

2. נושאים מה נכנס לאסוסיאציה אופרנטית? S-R מול R-O
המניפולציה הקריטית: devaluation
סוגי devaluation והשפעתם על התנהגות
התנהגות הרגלית
התנהגות מונחית מטרה
Incentive learning
מודל חישובי: איך כל זה מסתדר עם RL, ואיך המח מחליט מתי לעבור ממערכת אחת לשניה?
'ניתוח מונחה מודל אסוציאטיבי': הבסיס המוחי ללמידה אופרנטית

3. ניתוח תאורטי של התניה אופרנטית
תאוריה של למידה: מהן האסוסיאציות הנוצרות בעת ההתניה? כיצד שינויים אלו משפיעים על ההתנהגות?
שאלה חישובית 'מקבילה': מהו המבנה החישובי הנלמד והמהווה בסיס לקבלת החלטות בהתניה אופרנטית?
חשוב: נרצה לבחון שאלה זו לגבי התניה אופרנטית. בעיה: לא תמיד ברור מתי הסמיכות האופרנטית היא זו ששולטת בהתנהגות. ריצה במבוך vs לחיצה על דוושה.

4. S-R מול R-O (קלאסית מול אופרנטית)
התניה כרכישת ידע אודות העולם:
קלאסית: לימוד של אילו ארועים בעולם מנבאים חיזוקים
אופרנטית: לימוד של אילו פעולות בעולם קשורות להופעת חיזוקים
תאורטיקנים ראשונים (Gutherie 1952, Hull 1943): תאוריה אחת לשתי ההתניות – S-R
בשני המקרים התגובה מקושרת לגירוי המקדים אותה
קלאסית: UR מקושר ל-CS
אופרנטית: R מקושר ל-SD או לגירויי קונטקסט סביבתיים
בשני המקרים החיזוק עצמו אינו חלק מהאסוסיאציה
אבל: תאורית S-R של התניה אופרנטית מניחה שהארועים המקושרים ע"י החיה שונים מאלו שבסמיכות הקריטית בניסוי
אלטרנטיבה: תאוריות R-O של התניה אופרנטית (וקלאסית?) (Tolman,Rescorla)

5. S-R מול R-O: איך נכריע? שאלה מרכזית: האם החיזוק הוא חלק מההתניה או לא?
שינוי ערך ה- O/המוטיבציה ל-O לאחר ההתניה
האם ההתנהגות תשתנה בהתאם?
שינוי ערך ה-O: שלוש שיטות (לפחות)
שינוי המצב המוטיבציוני של החיה (רעב, צמא, חסך מלח, דחף מיני – ויש גם אינטראקציות ביניהם)
שובע ספציפי - specific satiety
התנית אברסיה לחיזוק (LiCl)
מתקשר לשני מרכיבי ערכו של חיזוק:
primary value - מושפע ממצב הדחפים/החסכים של החיה (הצרכים הפנימיים)
incentive value - "ערך התמריץ"/"כח המשיכה" של החיזוק
שימו לב: מה שונה ומה דומה בין סוגי המניפולציות?

6. שינוי ערך ה-O לאחר האימון: הפרדיגמה
1 - Training:
2 – Pairing with illness: ?
Non-devalued
Unshifted
2 – Motivational shift:
Hungry
Sated
The basic paradigm is that of a post-training shift in motivation/outcome value followed by an extinction test. ?
3 – Test: (extinction)

7. שינוי ערך ה-O לאחר האימון: התוצאות
LP: Short
training
LP: Extensive
training
control
devalued
Magazine
approach
control
devalued
response
rate
control
devalued
Goal Directed
Behavior
Habitual
Behavior
The animal does inconsistent things in one setting!
 אימון רב יוצר הרגלים
 אבל.. רק עבור פעולות רחוקות מהחיזוק!

8. S-R מול R-O: שני סוגי התנהגות
התנהגות מכוונת למטרה:
מתווכת ע"י אסוסיאצית R-O (או A-O)
ה-O מהווה מטרה עבור החיה
בעצם שני מבחנים: שינוי ערך ה-O או שינוי הסמיכות בין A ל-O
התנהגות הרגלית: לא תלויה בתוצאה אלא מבוצעת בגלל נכחות הגירויים שהיו קיימים בעת שהפעולה נרכשה – S-R (דוגמאות?)
הגדרה על דרך השלילה

9. גורמים המשפיעים על יצירת הרגלים
אורך האימון
מרחק מהחיזוק
לוח החיזוקים (מהיר יותר בחיזוק חלקי, מהיר יותר בלוחות interval בהשואה ל-ratio)
כמות הפעולות שמאמנים (שתי פעולות לשני חיזוקים שונים – לא הופך להרגל)

10. סיבוך נוסף: התנהגות מונחית מטרה ולמידת תמריץ
סיפור המסעדה בסוף הטיול
התנהגות מונחית מטרה רגישה לערך המטרה רק בהנתן אפשרות ל-"למידת תמריץ" (incentive learning)

11. למידת תמריץ - incentive learning
Hungry
Sated
2. motivational
shift
use different food
Incentive learning has led psychologists to propose a theory based on 3 controllers, one for each behavior: One knows the value, one has to learn it, and one doesn’t care (non parsimonious)
Restaurant example

12. סיבוך נוסף: התנהגות מונחית מטרה ולמידת תמריץ
סיפור המסעדה בסוף הטיול
התנהגות מונחית מטרה רגישה לערך המטרה רק בהנתן אפשרות ל-"למידת תמריץ" (incentive learning)
אולי זה הגיוני לגבי motivational shift (קשה להפריד בין שני מרכיבי ערך החיזוק מדוגמא אחת) אבל – מה לגבי התנית אברסיה?
סיפור האבטיח של טוני
ממצאים ניסויים מהתנית אברסיה בפעם אחת – Dickinson מול Rescorla
ו... הכי גרוע – כל זה לא תופס להתנהגות nose poke, שגם סווגה כמונחית מטרה

13. הפתרון של Dickinson + Balleine
שלושה סוגי התנהגות:
הרגלית – לא רגישה לערך המטרה
מונחית מטרה – רגישה לערך המטרה רק אחרי למידת תמריץ
קלאסית – תמיד רגישה לערך המטרה, ללא צורך בלמידת תמריץ
אבל: תאוריה בעייתית
חוסר קונסיסטנטיות בקבלת החלטות – אם המערכת הפבלובית יודעת מה בדיוק ערך המטרה, למה המערכת מונחית המטרה 'מתעלמת' מכך?
לא ברור שבאמת התנהגות קלאסית רגישה ישירות לערך המטרה
ניסוי שרשרת הפעולות האופרנטיות... (1995)

14. Motivational control of heterogeneous instrumental chains/ Balleine, Garner, Gonzalez and Dickinson 1995
חולדות רעבות מאומנות בקופסת סקינר, ללא דלת על מחסנית המזון
לחיצה על דוושה (A1)  משיכת חבל (A2)  חיזוק (O)
לאחר האימון מחצית החולדות מועברות לשובע
Test:
מוסיפים למידת תמריץ למחצית החולדות (ניסוי נפרד, כולן נבחנות שבעות)
מה לגבי פשוט לחיצה על דוושה אבל בלי דלת על המחסנית?

15. לחיצה על דוושה – האם יש צורך בלמידת תמריץ?
רגישות לערך המטרה תלויה במיקום של הפעולה בשרשרת!
שלושה הסברים במאמר:
פרוקסימלי – S-R רגיש ישירות למוטיבציה (כמו הרגלים) (??)
פרוקסימלי יותר פבלובי בשל הקרבה ל-US (הדיסטלי מוצלל ע"י גירויים פרוקסימלים, ורחוק מה-US, ולכן פחות מותנה קלאסית)
ייצוג היררכי A1-(A2-O) כאשר A1 מהווה SD. הקרוב (A2) רגיש ישירות, בעוד הרחוק היררכית אינו

16. הסבר אחר: Daw, Niv, Dayan 2005
מה תאוריות Reinforcement learning חישוביות אומרות על כל זה?
הבעיה: קבלת החלטות אופטימלית במקרה של שרשרת פעולות (חיזוק בסוף השרשרת)
דברנו רבות על שיטה אחת לפתרון הבעיה: ללמוד ערכים למצבים/גירויים (states) בעזרת טעויות ניבוי, וללמוד אסטרטגיה התנהגותית באמצעות אותן טעויות ניבוי. ממידע מקומי ניתן ללמוד התנהגות אופטימלית לטווח רחוק.
S A Policy
Environment
Actor
action
state
S evaluation
Function
Critic
r(t) - reward TD
error
δ(t) 4 2 S1 S3 1 S2
“If the only tool you have is a hammer, you tend to see every problem as a nail” - A. Maslow

17. Actor/Critic ו-TD כלמידת S-R
מה יקרה אם:
נשנה את ערך החיזוק?
נשנה את מבנה המבוך? 4 2 S1 S3 1 S2 1

18. Actor/Critic ו-TD כלמידת S-R
למידת ערך V לגירוי: מנותק מזהות ה-US עצמה
חשוב: ממיר הכל למטבע משותף בכדי להשוות ולבחור אופצית פעולה אחת
אבל: מאבד קשר ישיר ל-US/O. למשל, אם החיה עכשיו צמאה ולא רעבה, איך תדע בכמה לשנות את הערכים V(S1), V(S2), V(S3)? ואיך תדע לשנות אסטרטגית התנהגות? 4 2 S1 S3 1 S2

19. אבל... יש עוד דרכים לפתור את אותה בעיהS0
initial
state S2
food
delivered
A2: approach
magazine S1
nothing
obtained
A1: press
lever
r=1
ניתן ללמוד מתוך נסיון ממש את מבנה העץ
One-step transitions
Immediate outcomes
Reward utilities
בזמן ההחלטה ניתן לעבור על העץ ('סימולציה') עד לנקודות הקצה, כדי לקבוע מה הערך (בטווח ארוך) של כל פעולה
יתרון: גמיש, רגיש לכל שינוי
חסרון: לרוב בלתי אפשרי בשל הסיבוכיות של העץ (משחק שח)
פסיכולוגיה: R-O, התנהגות מונחית מטרה

20. שתי דרכים שונות לחישוב מה ערכה של פעולה
No reward
R = 0 S2
Food obtained
R = 1 S3
Initial state S0
approach
magazine
press
lever
Food delivered S1
a Tree System
approach
magazine
Q = 0
Initial state S0
press
lever
Q = 1
No reward S2
Food delivered S1
Food obtained S3
b Cache System

21. לימוד העץ:

22. השוואה: פתרון בשיטת S-R או R-O4 2 S1 S3 1 S2
R-O
יתרונות: גמישות מירבית
חסרונות: קשה לחשב מה הערך של כל פעולה בזמן אמת (מהר מאוד יש יותר מדי אפשרויות)
S-R
בחירת פעולה עם ערך מירבי: V(S1,L) = R(S1,L) + V(S2) V(S1,R) = R(S1,R) + V(S3)
יתרונות: פשוט ללמוד את הערך האופטימלי מתוך נסיון; קל מאוד לבחור פעולה בהנתן הערכים
חסרונות: גמישות מוגבלת (שינוי ערך ה-O, שינוי צורת המבוך) S1 S2 S3 R L

23. באיזו דרך להשתמש מתי?
הפתרון הנורמטיבי: להשתמש בכל שיטה במקום בו היא טובה יותר = מדוייקת יותר
עץ: טוב במצבים של מעט מידע (יעיל) וקרבה לחיזוק (ניתן לחישוב)
ערכים מאוחסנים: טובים לאחר למידה רבה, ואז לא משנה אם הם קרובים או רחוקים מהחיזוק (אין חיפוש איטרטיבי)
...מתאים לתוצאות של ניסויים לגבי התנהגות הרגלית לעומת מונחית מטרה

24. שתי המערכות קיימות ופועלות במח במקביל
פגיעות ב-dorsolateral striatum: התנהגות לא הופכת להרגלית גם לאחר אימון ממושך (ממשיכה להיות רגישה לערך החיזוק)
פגיעות ב-dorsomedial striatum, prelimbic PFC: התנהגות הרגלית כבר בתחילת האימון (לא רגישה לערך החיזוק)
 מעיד על שתי מערכות הפועלות במקביל ויכולות לשלוט בהתנהגות בכל עת!

25. Killcross+Coutureau 2003
אימון של שתי פעולות לשני חיזוקים (בנפרד) – אחד באימון ארוך והשני בקצר
Test לאחר שובע ספציפי

26. איך המח ידע מי המערכת המדוייקת יותר?
איך המח ידע על איזו מערכת לסמוך מתי?
הרעיון: כל מערכת תחשב ותדווח גם על מידת הבטחון שלה (uncertainty)
עץ: אי ודאות בשל רעש בחיפוש בעץ
ערכים מאוחסנים: אי ודאות בשל חוסר נסיון
המח יבחר להאמין למערכת בעלת הבטחון הרב ביותר
שימו לב:
לא תמיד יבחר הערך הגבוה יותר
(חוסר) קשר בין uncertainty ו-risk
בעבר: uncertainty שמש לקביעת קצב הלמידה (Kalman filter). כאן: שימוש נוסף – בחירה בין מערכות מקבילות
estimated
action
value
cache
tree
בעצם השאלה היא איך המח יודע על מי לסמוך מתי?

27. סימולציות של ניסויי devaluation
Non-
devalued
Devalued
Cache
Tree a
Distal action
Rewarded trials
relative to non-devalued
Response rate b
Proximal action
Uncertainty

28. מה לגבי למידת תמריץ?
שינוי ערך החיזוק: מעלה את אי הודאות של העץ (אך לא את זו של המערכת ההרגלית)
אי ודאות גבוהה יותר בעץ  המח בוחר במערכת ההרגלית (אין רגישות לערך החדש של החיזוק)
אבל: בפעולות קרובות מאוד לחיזוק (nose poke), גם עם אי הודאות הנוספת, השליטה נותרת בידי העץ (המערכת מונחית המטרה).
למידת תמריץ: מורידה חזרה את אי הודאות של העץ  המח בוחר במערכת מונחית המטרה גם בפעולות מרוחקות, ורואים רגישות לערך החדש של החיזוק גם בלחיצת הדוושה

29. סימולציה: למידת תמריץ * Distal action Proximal action Cache Tree
Action probability
Control
Shift
only
Shift +
Incentive
learning

30. הסבר חדש ללמידת תמריץ אין צורך להניח שלוש מערכות
אין צורך להניח שהמערכת ה'חכמה' (מונחית המטרה) לא יודעת מה ערך המטרה (בעוד מערכת אחרת כן יודעת!)
אבל - מערכת אחת אכן מתעלמת ממשהו שהשניה יודעת כתוצאה ממגבלות אלגוריתם החישוב!

31. התניה אופרנטית: איפה כל זה קורה?
Balleine ושות' – סדרת ניסויים נרחבת מונחית המודל של שתי סוגי אסוסיאציות
מבחנים: שינוי ערך החיזוק, שינוי הסמיכות, קצב הלמידה, למידת אברסיה למזון, למידה של שתי פעולות לשני חיזוקים, מבחן עם/בלי חיזוקים, יכולת ללמוד שרשרת פעולות
פגיעות: lesions לפני ואחרי אימון, אינאקטיבציה זמנית בשלבי אימון/מבחן שונים...

32. הבסיס המוחי להתנהגות מונחית מטרה
pDMS – קשור ללמידת A-O (פגיעה גוררת חוסר רגישות לערך החיזוק וכן לסמיכות בין פעולה לחיזוק)
אימון: שתי פעולות ושני חיזוקים, לוח ratio. מבחן: שובע ספציפי, סמיכות
Yin et al (2005)

33. הבסיס המוחי להתנהגות מונחית מטרה
mPFC – קשור לרכישה (פגיעה לפני רכישה אך לא אחריה יוצרת חוסר רגישות לערך המטרה)
BLA – ייצוג של ערך ה-O של פעולה (רואים באימון של שני A לשני O)
reacquisition
Ostlund et al. (2005)
Balleine, Killcross + Dickinson (2003)

34. הבסיס המוחי להתנהגות מונחית מטרה
היפוקמפוס – קשר סיבתי (דקלרטיבי?) בין פעולה לתוצאה (אין פגיעה ברגישות לערך החיזוק, אך כן ברגישות לסמיכות)
אימון של שתי פעולות לשני חיזוקים
מבחן שובע ספציפי
אימון בסמיכות מופחתת
מבחן בהכחדה
Corbit + Balleine (2000)

35. הבסיס המוחי להתנהגות הרגלית
DLS (אך לא DMS) – מעורב ביצירת אסוסיאצית S-R
קבוצות: Sham, DMS, DLS
אימון VI ממושך
CTA devaluation
כולם רוכשים לחיצה ו-CTA
DLS מראים רגישות לערך החיזוק ב-test
Yin et al (2003)

36. בסה"כ:

37. סיכום למידה אופרנטית אינה תופעה פשוטה עם מנגנון יחיד
ההתנהגות נקבעת ע"י האינטראקציה בין מערכות למידה וזכרון רבות, חלקן משלימות וחלקן מתחרות
שבוע הבא: האם המנגנונים האלו מתווכים גם למידה קלאסית או שיש גם שם מנגנונים נפרדים נוספים?