1. 1. התניה קלאסית ואופרנטית: דומה ושונה 2. הכחדה
מבוא ללמידה והתנהגות: התניה ומח
שעור 7

2. נושאים השלמה משעורים קודמים:
תשובה של O’Doherty ו-Dayan על שאלותיכם
תשובות לתרגילי בית
התניה אופרנטית וקלאסית – מנגנון משותף או תופעות שונות?
תאוריות לכאן ולכאן
ניסויי מפתח: omission
אינטראקציות: PIT והבסיס המוחי לו
הכחדה:
תאוריות שלכם
תאוריות של אחרים

3. חלק א': תזכורת - O’Doherty et al. 2004
(NAC) Ventral striatum – קורלציה עם PE בשתי המטלות:
Dorsal striatum – קורלציה עם PE רק במטלה האינסטרומנטלית:

4. תשובה של O’Doherty + Dayan
שני התנאים היו באותם נבדקים, בבלוקים, עם גירויים שונים
מדוע נצפה לכך שלא יהיה PE אל ה-Actor בתנאי הפבלובי?
John: הטענה אינה שאין PE אלא שהסטריאטום לא מעבד אותו ופועל על פיו ולכן גם אם יש סיגנל הוא חלש מאוד (אנו לא מודדים ממש PE אלא את ההשפעות המטבוליות שלו על פעילות נוירונלית בסטריאטום ואם אלו מועטות אז לא יהיו שינויים מטבוליים נצפים).
Peter: מסכים שבעקרון ה-PE המדווח ל-NAC ול-dS צריך להראות דומה, אך fMRI כנראה מראה שילוב של קלטים קורטיקלים לסטריאטום וקלטים דופמינרגים. בתנאי הפבלובי אין סיבה שהקלטים הקורטיקלים יהיו סיגניפיקנטים או מאורגנים בהתאם ל-PE. הם לא טענו שלא צריך להיות PE – אך רק ציפו לפחות. בפועל – הופתעו מכך שהתוצאות היו כה חדות.
איך נדע שאין למידה של אסטרטגיה לטנטית גם בתנאי הפבלובי?
John: שאלה טובה, ואולי אכן יש. הם לא מדדו. מתכננים ניסוי למידה לטנטית עכשיו. מתקשר לטולמן והחולדות במכוניות.
Peter: אם ישנה 'העברה' (וזה לא נבדק ישירות) בעקרון לא דרושה למידה אופרנטית – אפילו approach פבלובי יספיק ליצירת אסטרטגיה במקרה זה.
John: I guess the way I think about it is that we're not just seeing the direct effects of PE signals emananting from the midbrain (they would be very weak in terms of what we could detect with BOLD)- rather we're seeing the metabolic consequences of those PE signals on neural activity in target structures - so if the dorsal striatum is not engaged at all during Pavlovian conditioning (and I'm not saying that it isn't), then in theory there could be strong dopamine PE signals arriving there but no change in local neural activity hence no change in metabolism hence no fMRI signal.
Peter: I quite agree that the DA report to the dorsal striatum should, on the basis of Schultz' rather meagre tests of the issue, be similar to that in the accumbens. However, the fMRI activity is almost certainly some combination of cortical activity into the striatum and the DA (and 5HT) innervation -- and in the case of Pavlovian conditioning, there's no reason for the cortical input to be significant or organised in relation to the DA input. We didn't claim in the paper that there should be no prediction error activity -- but we did expect less. We were surprised that the results were so clear-cut in the end

5. תרגיל בית ראשון:
קב' א: אור+צליל1  מזון; אור+צליל2  כלום קב' ב: אור+צליל1  50% מזון; אור+צליל2  50% מזון
TD והתניה מסדר שני:
CS1 → US; CS1 → CS2 → US
CS1 → US; CS1 → CS2
CS1 → US משולב עם CS1 → CS2
בעית ה-XOR
Serial compound representation

6. תרגיל בית שני: TD with discounting
(תרגלי בית שלישי להגשה היום)
(תרגיל בית רביעי – מאמר של טולמן + שאלות – יהיו בערב באתר)

7. חלק ב': התניה קלאסית מול אופרנטית
התניה אופרנטית
התניה קלאסית
החיזוק מופיע אחרי תגובה מסוימת
כוללת את התגובה (S-R או R-O)
התרחשות החיזוק בהקשר מסויים מביאה לכך ששכיחותה של התגובה שקדמה לו תעלה
מתוחכמת, רצונית, בד"כ אין קשר ברור בינה לבין תגובות שהחיזוק מעורר
החיזוק מופיע אחרי גירוי מסוים
פבלוב – בין שני גירויים (CS-US)
התרחשות החיזוק בהקשר מסויים מביאה להקדמת התגובות שהחיזוק מעורר
פשוטה, לא רצונית, בד"כ רפלקסיבית (מע' אוטונומית), דומה לזו שהחיזוק מעורר
סמיכות (הגדרה אופרציונלית)
אסוסיאציה (תאורטית)
תפקיד החיזוק
התנהגות החיה

8. אבל...
Different rules for delivering reinforcers do not guarantee that the experimenter is studying different forms of learning (Mackintosh, 1983)
מה שהנסיין מתאר לאו דווקא קובע (או דומה) למה שהחיה לומדת
אין הכרח שהסמיכויות שהנסיין ארגן הן אכן אלו השולטות בהתנהגות:
ריור – אולי יש סמיכות אופרנטית בין התגובה לערך החיזוק?
ניקור – יתכן שהנסיין ארגן סמיכות אופרנטית אך התגובה היא פרי autoshaping קלאסי בלבד
אולי בכל זאת שתי ההתניות הן ביטויים שונים של אותו תהליך למידה בסיסי?

9. נסיון להסביר התניה קלאסית ע"י סמיכות אופרנטית
פעמים רבות ניתן להצביע על תוצאה אינסטרומנטלית של CR קלאסי:
ריור לפני מזון – שיפור טעם
ריור לפני חומצה – דילול
כיפוף רגל לפני שוק – כיווץ שריר להקטנת כאב
התניית עפעף – מניעת משב הרוח האברסיבי לעין
מה לגבי ניקור של יונים? אולי superstitious S-R (מסביר מקרים של CR שונה מה-UR)
עדויות נגד: הוספה של סמיכות אופרנטית לקלאסית – ניסויי השמטה (omission)

10. ניסויי השמטה Sheffield (1965) – ריור בכלבים
השמטת החיזוק אם הכלב מרייר ב-4 השניות לאחר הופעת הצליל
אם ההתניה מתווכת ע"י סמיכות אופרנטית (כלומר, סבירות הופעת התגובה מושפע מתוצאתה) נצפה לירידה בריור.
מה נצפה מבחינה קלאסית?
תוצאה: במשך 800 צעדים התגובה לא נעלמה אלא ירדה ל-50%
איך נעשה זאת בצורה יותר משכנעת?
המטרה: להנגיד את הפרדיקציות של הסמיכות הקלאסית והאופרנטית
יותר משכנע" השמטה עם חיזוק אברסיבי: אם ה-CR גורם להחלשת האברסיביות, השמטה של החיזוק כליל תחזק עוד יותר את ה-CR (אופרנטית), אך קלאסית נצפה לירידה בסבירות הופעת ה-CR לאחר השמטה. התוצאה – ירידה בביצוע ה-CR.

11. השמטה – התוצאה המשכנעת
ו... תשובה יפה לטענת ה-superstitious reinforcement: שימוש בשוק חלש כ-CS ומזון כ-US (כיפוף הרגל נעלם במקום להתחזק)

12. מסקנה מס' 1
לא ניתן בכל המקרים להסביר התניה קלאסית ע"י אופרנטית: ישנן תגובות מותנות הנוצרות למרות ולא בגלל תוצאתן.
יש צורך להניח שקיים classical principle of reinforcement של פבלוב – תגובות המעוררות ע"י החיזוק מתחילות להופיע לפניו.
אם כן, האם יש צורך ב-law of effect בכדי להבין התניה?

13. נסיון להסביר התניה אופרנטית ע"י סמיכות קלאסית
לכאורה קל להראות שבניסוי בו התגובה משפיעה על התוצאה, הסמיכות הזו משפיעה על ביצוע התגובה
אך יש להזהר – למשל ב-pigeon keypecking (שנחשב עד לא מזמן ניסוי אופרנטי פרוטוטיפי), אנו יודעים שאותה תגובה תתפתח גם ללא תלות של החיזוק בתגובה
איך נדע שזו לא הסיטואציה בפרדיגמות אופרנטיות אחרות (למשל, ריצה ב-runway כ-approach קלאסי)?

14. התנהגות מעוּררת - Elicited behavior
התנהגות שמופיעה בתגובה לארועים בסביבה
רעש חזק – startle response
תנועה בזוית העין – orienting response
אוכל בפה – ריור
אור חזק – כיווץ אישונים
גירוי בדרכי הנשימה – עיטוש/שיעול
הצורה הכי פשוטה: התנהגות רפלקסיבית (מרכיבים: גירוי מעורר, תגובה ספציפית). מנגנונים נמוכים (אולי בבקרת אזורים גבוהים – נגיעה בכתף מקפיצה יותר בעת צפיה בסרט אימה)
אינסטינקט – species specific, מורכב יותר, רצף תגובות. מולד (גנטי), אך גם יכול להיות מושפע מלמידה
משוב: לעתים ההתנהגות תתבצע עד תומה מרגע שהחלה (חתולים), ולעתים נכחות/העדר הגירוי המעורר מהווה משוב (תולעים הנעות כל עוד הן במקום לח – לא 'מעדיפות' יובש, אך ימצאו לרוב במקום יבש כי שם לא קיים הגירוי לתנועה)

15. התנהגות מעוּררת – מסקנות
מדגים איך תגובות שנראות רצוניות ו-goal directed הן לאו דוקא כאלה!
גם התנהגות הניתנת לשינוי ורגישה למשוב יכולה להיות אוטומטית ולא מכוונת למטרה
בד"כ בהתנהגות מעוּררת יש תועלת – אך היא לא מתבצעת למען התועלת הזן (למשל – לא מבצעים orienting response כדי לראות מה קורה)

16. איך נדגים התניה אופרנטית טהורה?
בכל ניסוי אופרנטי סמיכויות קלאסיות בלתי נמנעות – בייחוד גירויי התגובה  חיזוק (על רקע אין גירויי תגובה  אין חיזוק)
פתרון 1: האם יש הבדל בין תגובה לסמיכות קלאסית בלבד, למצב בו נוסיף גם אופרנטית?
ניקור ביונים – מתגבר כאשר יש גם סמיכות אופרנטית
השמטה – יש ירידה רבה יותר של התגובה כשמוסיפים השמטה בהשואה לחיזוק חלקי קלאסי (yoked)
אבל: לא הוכחה חותכת כי בהוספת הסמיכות האופרנטית הוספנו גם סמיכויות קלאסיות...

17. איך נדגים התניה אופרנטית טהורה?
פתרון 2: התנית תגובות שלא מזיזות את החיה במרחב/לא משנות את סט הגירויים הקלאסיים. רעיונות?
Miller + Konorski (Bobek)
Grindley – bidirectional control
מבוך Y
נראה שניתן לשנות התנהגות בלי צורך להסתמך על סמיכויות קלאסיות
דוגמאות: התניית כיפוף רגל למזון, התניית ריצה בגלגל, שרקנים (רתומים) שסובבו פניהם ימינה ושמאלה למזון, או להיפך.

18. Two factor theory בסה"כ העדויות תומכות ב-two factor theory
אבל: הדרך היחידה לגלות מה שינה את התנהגות החיה בניסוי מסויים היא ע"י ניתוח ניסויי מתאים (ולא ע"י הפרוצדורה שהנסיין תכנן)
אבל: טכניקות הניתוח גם הן לא מושלמות – פרוצדורת השמטה למשל יכולה לומר האם תגובה מסויימת רגישה או לא רגישה לסמיכות אופרנטית, אך היא לא אומרת מה קרה בפועל...
כלים טובים יותר: דיסוסיאציה נוירונלית?

19. הערה: הבדל בין תגובות קלאסיות ואופרנטיות
נסיון להבחין בים ההתניות דרך אופי התגובה
Konorski+Miller – תגובות אוטונומיות מול תגובות שלד
סתירה: ניקור של יונים, כיפוף רגל, ריצה במבוך
סתירה: biofeedback
בכ"ז רצף – יש תגובות שקל יותר להתנות אופרנטית ויש שקשה
הבחנה עפ"י מידת המשוב שהתגובה נותנת
קל ללמד חולדה לרוץ כשי למנוע שוק, אך לא ניתן ללמדה לקפל זנב או להתגרד כדי למנוע שוק
תגובות אוטומטיות קשה להתנות אופרנטית
גם כאן מדובר ברצף ולא בדיכוטומיה

20. סיכום – קלאסית ואופרנטית
Classical and operant conditioning are separable not because one can ever devise a pure classical or a pure instrumental experiment, but because it is possible to distinguish the ways by which each process modifies behavior

21. PIT – Pavlovian instrumental transfer
הפרדיגמה
אימון קלאסי: CS – US
אימון אופרנטי: Response → Outcome
מבחן PIT: בתנאי הכחדה, Response בנכחות ובהעדר ה-CS
דרך נוספת לראות האם ה-CS אקסיטטורי או אינהיביטורי, אפטטיבי או אברסיבי
שני סוגי PIT
ספציפי ל-outcome
לא ספציפי
מזכיר לכם משהו?

22. Holland 2004 – שני סוגי PIT מנגנונים אפשריים ל-PIT
מתווך ע"י ציפייה ל-US (צריך להיות ספציפי ל-outcome)
השפעה כללית של ה-CS (‘drive’) ללא תלות ב-outcome (צפוי יותר בהתנהגות S-R הרגלית)
משווה בין PIT אחרי אימון ארוך או קצר, עם חיזוק אחד או שניים, ומה ההשפעה של devaluation (CTA) על PIT

23. Holland 2004 – תוצאות ניסוי ראשון: אורך אימון ו-PIT ניסוי שני: תוצאות:
CTA למזון לא מקטין PIT!
ניסוי שני:
קב' 1 – שתי פעולות לאותו חיזוק (אימון ארוך לאחת וקצר לשניה) ושני US-ים פבלובים
קב' 2 – גם כל פעולה לחיזוק אחר
תוצאות:
קב' 1 – העברה לא ספציפית, יותר באימון ארוך; קב' 2 – העברה ספציפית, לא תלוית אורך אימון
PIT לא נפגע ע"י devaluation באף אחת מהקבוצות!

24. PIT – בסיס נוירואנטומי PIT כללי – תלוי ב- NAC (shell), וב-CeN
PIT ספציפי – תלוי ב- NAC (core), BLA
דומה (אולי) לבסיס הנוירואנטומי של השפעות של מוטיבציה על התנהגות
דוגמא: Corbit + Balleine 2005
פגיעה ב-BLA מנעה השפעה ספציפית של specific satiety וכן PIT ספציפי.
פגיעה ב-CeN פגעה ב-PIT כללי בלבד

25. חלק ג' - הכחדה
זהירות: השם מתיחס גם לפרוצדורה הניסויית, גם לתוצאה ההתנהגותית וגם לתהליך הלמידה הנוירונלית/אסוציאטיבית
רוב המחקר – לגבי הכחדה בהתניה קלאסית
Extinction burst
החלמה ספונטנית
תאוריה: פבלוב – inhibition כתוצאה מלמידה שונה; Gutherie – תגובות אחרות מותנות ל-CS ומתחרות בקודמות (למידה דומה)
העדויות תומכות בתהליך למידה שונה (השפעות פרמקולוגיות שונות על למידה והכחדה, אימון צפוף מול מרווח וכו' – אגב, דופמין)
מה לגבי הכחדה אופרנטית?
כמו בקלאסית גם כאן התאוריה הבסיסית שמסבירה רכישה לא מספיקה – law of effect של Thorndike לא מסבירה הכחדה
מה קורה לתגובה בהכחדה? האם היא באמת נעלמת? או רק מעוכבת או לא באה לידי ביטוי מסיבות שונות? האם הכחדת התגובה הוא ביטוי של למידה או ביצוע?

26. תאוריות שלכם מה גורם להעלמות התגובה? מה נלמד בתהליך ההכחדה?
מה יקרה בהכחדה אחרי חיזוק חלקי?

27. מספר תופעות בהכחדה אופרנטית
קודם כל: לא מדובר בשכחה – מעבר זמן גרידא לא גורר הכחדה
לא מדובר ב-unlearning פשוט בגלל:
החלמה ספונטנית – מתגברת עם הזמן מאז האימון (שכחה של ההכחדה?), אבל – Rescorla 2004 – החלמה ספונטנית רבה יותר ב-test במרווח קצר יותר מהאימון (אופרנטי וקלאסי!)
Renewal – תלות בקונטקסט
Reinstatement – עם חיזוקים לא בסמיכות לפעולה/CS

28. מספר תופעות בהכחדה אופרנטית
השפעת גודל החיזוק (ברכישה) – קטן יותר  הכחדה איטית יותר
PREE – אימון בחיזוק חלקי  הכחדה איטית יותר (הערה: חיזוק חלקי מחליש למידה קלאסית, מחזק למידה אופרנטית)
בעיה: ניסויים רבים ב-runway, טווחי זמנים שונים (צעד אחד ביום מול צעדים ב-ITI של מספר שניות...)

29. ארבע גישות עיקריות להכחדה אופרנטית
Capaldi – Generalization decrement theory – השמטת החיזוק משנה את מצב הגירויים (SD) ולכן הירידה בביצוע. הכחדה כתופעת performance בלבד!
Amsel – Competition/interference theory – בשל ההכחדה מותנות תגובות מתחרות (תגובות תסכול) המתחרות בתגובה המקורית. הכחדה כלמידה מאותו סוג (עם חיזוק אברסיבי); קושי בהסקת הסיבתיות
Inhibition theory – אי חיזוק צפוי יוצר למידה מסוג אחר (התניה אינהיביטורית), המעכבת את התגובה
Hull – Reactive inhibition theory – ישנה למידת עיכוב כל הזמן, אך זו באה לידי ביטוי כאשר אין חיזוק לפעולה עצמה

30. Generalization decrement theory
שתי טענות מרכזיות:
העדר חיזוק = שינוי בגירויים (החיזוק כמספק אינפורמציה ולא רק כמחזק)
שינוי בגירויים מוביל לירידה בתגובה (למשל – שינוי קונטקסט  הכחדה מהירה יותר)
מסביר את ההדרגתיות בהכחדה
מסביר מדוע הצגת חיזוקים (לא בסמיכות לתגובה) בעת ההכחדה גורמת להכחדה איטית יותר
מסביר PREE
שימו לב: לפי תאוריה זו אין למידה חדשה בזמן ההכחדה
בעיה: ההתיחסות לאי חיזוק כאל סתם שינוי בגירויים מפספסת משהו... אי חיזוק על רקע חיזוק צפוי מספיק כדי לתמוך בלמידה אינהיביטורית – האם כאן אין תהליך למידה דומה?

31. תהליך למידה בזמן ההכחדה: מה נלמד?
Interference/competition theory:
נלמדות תגובות תסכול מותנות
אי חיזוק מצופה הוא כחיזוק אברסיבי – תגובות התרחקות, התקפה, אגרסיביות – שלרוב מפריעות לביצוע התגובה המקורית
ניסוי הריצה במבוך runway double – רואים גם תנועה של התגובה המותנית אחורה בזמן (כמו בהתניה קלאסית)
(תאוריה של יעל ביטרמן – תסכול כגירוי אברסיבי ומניעת התגובה כלמידת המנעות מגירוי אברסיבי)
Inhibition theory:
למידה חדשה אודות יחסים אינהיביטורים בעולם: תגובה  אי חיזוק
Reactive inhibition theory:
ביצוע התגובה גורם לירידה זמנית בביצועה (הורדת דחף העייפות)
מסביר החלמה ספונטנית, יעילות צדים צפופים בהכחדה, הכחדה מהירה לתגובות הדורשות יותר מאמץ

32. הויכוח על ה-PREE – Amsel vs. Capaldi
איזה אימון יכחיד יותר מהר:
NRNNRNRNNR (40% חיזוק חלקי, 4 מעברי N-R)
RRNNNNNNRR (40% חיזוק חלקי, מעבר N-R אחד)
קפלדי (Intertrial) – חשיבות לרצף (sequential theory) היות והוא חלק מעקבת הזכרון. לומדים שבסוף רצפי N יבוא R
אמסל (Intratrial) – חשיבות לאחוז צעדי ה-N. לומדים לבצע את התגובה בנכחות תסכול
לעומת זאת, איזה אימון יכחיד יותר מהר:
NRNRNRNRNR…
חיזוק חלקי 50% רנדומלי
תלוי גם ב-ITI (אמסל – 24 שעות, קפלדי – שניות), באורך האימון (קצר – חשיבות לזכרון של כל צעד)
שני מנגנוני למידה שונים (מנגנון זכרון ומנגנון תסכול) – תרופות מפחידות חרדה מבטלות PREE עם ITI ארוכים אך לא קצרים!

33. במח: החיפוש אחר 'אתר' למידת ההכחדה
אזור ספציפי? (אמיגדלה מול PFC)
קבוצת תאים באזורי למידה אחרים? (נוירונים אקסיטטורים מול אינהיביטורים)
מנגנון מולקולרי/רצפטיבי בתאי למידה? (kinases מול phosphatases, עירור מול עיכוב של transcription)
אין הרבה עבודות עם הכחדה אופרנטית (לא ברור אפילו מה הקשר בין לוחות חיזוק והכחדה!) ורוב המחקרים בקלאסית
אין מודלים חישוביים להכחדה (שלא כהיפוך פשוט של רכישה) (!)

34. לקט תוצאות (כמעט רנדומלי)
פגיעה ב-NAC (shell/core) מגבירה הכחדה אופרנטית (Pothuizen, Feldon and Yee, 2006)
פגיעה ב-IL PFC מגבירה החלמה ספונטנית ו-reinstatement (PFC כמעכב תגובות לא מתאימות) (Rhodes and Killcross 2004)
הכחדה כסוג של למידה – פגיעה בנוירוטרנסמיטורים של למידה (NMDA באמיגדלה למשל) פוגעת גם בלמידה וגם בהכחדה. ולהיפך – הגברת פעילות NMDA (בזהירות!) מזרזת את שניהם
GABA (נוירוטרנסמיטר אינהיביטורי) – חסימתו מעכבת הכחדה, הגברתו מזרזת הכחדה
Consolidation and reconsolidation – חסימת שעתוק חלבונים בשלבים שונים מגבירה החלמה ספונטנית בדבורים (חסימת consolidation של הכחדה או reconsolidation של רכישה)

35. סיכום
בואו לחקור הכחדה...