1. מבוא ללמידה והתנהגות: התניה ומח שעור 3
התניה קלאסית – חלק ב'
מבוא ללמידה והתנהגות: התניה ומח
שעור 3

2. נושאים ארבע סוגי התניות:
חלוקה עפ"י הקורלציה בין ה-CS ל-US: אקסיטטורית או אינהיביטורית
חלוקה עפ"י המשמעות המוטיבציונית של ה-US: אפטטיבית או אברסיבית
ניגודים רגשיים והתמכרות לסמים – Solomon + Corbit: opponent process theory
התניה אינהיביטורית במח: רישום מדופמין
ניגודים בנוירומודולציה – Serotonin vs. Dopamine
התניה אברסיבית במח: הדמיה
מודל Kalman filter ותחרות בין מנבאים
(התניה קלאסית ובני אדם: טיפול בפוביות)

3. התניה אקסיטטורית והתניה אינהיביטורית
ראינו שסמיכות (בין CS ל-US) אינה מספיקה להתניה, מסתבר שהיא גם אינה דרושה!
התניה
אקסיטטורית
'התנית רקע'
(אין התניה)
התניה
אינהיביטורית

4. התניה אקסיטטורית והתניה אינהיביטורית
אבחנה: עפ"י הקורלציה בין ה-CS ל-US:
קורלציה של r = +1  התניה אקסיטטורית
קורלציה חלקית r<1  חיזוק חלקי – התניה איטית יותר (ולעתים לאסימפטוטה נמוכה יותר). ניתן ליצור מצב זה ע"י צעדים של CS ללא US או ע"י צעדים של US ללא CS. היחס בין סבירות הופעת ה-US על רקע ה-CS לסבירות הופעתו על רקע הקונטקסט הוא הקובע את יעילות ההתניה (relative validity, blocking, R-W)
קורלציה של r = -1  התניה אינהיביטורית – הגירוי המותנה מנבא העדר US (חייב להיות על רקע של ציפייה ל-US!). דוגמא – "המכונה מקולקלת"; "אין דלק"
"אין דלק" – יגרור CER של תסכול בתחנת דלק (על רקע ציפייה לחיזוק), אך לא אם השלט על חנות תכשיטים

5. איך יוצרים גירוי אינהיביטורי?
צליל  אוכל; צליל+אור  אין אוכל (סוג הצעד הראשון גורם ל-baseline של ציפייה למזון( דוגמא – אור אדום + שוטר בצומת
אוכל; צליל  אין אוכל (התנית רקע, backward conditioning) ככל שהסיכוי לקבלת US שלא בנכחות ה-CS גבוהה יותר, כך הגירוי המותנה יותר אינהיביטורי
Differential inhibition: A+, B- בצעדים מתחלפים (פחות ברור כאן מה יוצר ציפייה ל-US)
מה הכי יעיל?
אור אדום -> סכנה לחצות
אור אדום + שוטר -> אין סכנה
השוטר הוא גירוי אינהיביטורי לסכנה (מבטל סכנה שמשהו אחר מנבא)
הכי יעיל - 1

6. איך מודדים גירוי אינהיביטורי?
ישירות - תגובת withdrawal, CER (אפשרי רק בתגובות מסויימות) (מרמז על היפוך מוטיבציוני)
מבחן סכימה (summation test) - גירוי אחר מספק baseline של תגובה, בהוספת הגירוי האינהיביטורי רואים ירידה בתגובה. ניתן לשלב עם CS פבלובי, או עם תגובה אופרנטית (לחיצה על דוושה, avoidance).
מבחן עיכוב (retardation test) – גירוי אינהיביטורי קשה יותר להתנות עם אותו סוג חיזוק (אך לא עם חיזוק הפוך מוטיבציונית)
מקובל שגירוי הוא אינהיביטורי רק אם הוא עובר את שני ה"מבחנים"
אור אדום -> סכנה לחצות
אור אדום + שוטר -> אין סכנה
השוטר הוא גירוי אינהיביטורי לסכנה (מבטל סכנה שמשהו אחר מנבא)
הכי יעיל - 1

7. האם הכחדה יוצרת גירוי אינהיביטורי?
כן ולא
בעקרון לא – לא עובר מבחני סכימה ועיכוב לאחר תום ההכחדה
Rescorla – בזמן הכחדה ישנם תנאים מספיקים להתניה אינהיביטורית: A+ ובשלב ב' AB- (הוסיף גירוי נוסף בזמן ההכחדה)  B הופך אינהיביטורי
בתהליך ההכחדה הוא כן אינהיביטורי – מנבא העדר US על רקע ציפייה ל-US, אך זה מספיק רק לבטל את כוחו האקסיטטורי, ולא להפכו לממש אינהיביטורי

8. התניה אפטטיבית והתניה אברסיבית
פבלוב: רפלקסים של הזנה מול רפלקסים של הגנה
כללי יותר: הבחנה בין US אפטטיבי (מזון, מים) ל-US אברסיבי (חומצה, שוק). אינטואיטיבית: הבחנה בין satisfiers לבין annoyers.
הגדרה אופרטיבית?

9. Konorski – מערכות מוטיבציוניות מנוגדות
אבחנה שבסיסה תאורטי: מניח קיום שתי מערכות מוטיבציוניות אנטגוניסטיות, כאשר התניה אפטטיבית תלויה באחת, והתניה אברסיבית בשניה
תימוכין: קשה להפעיל את שתי המערכות בו זמנית (הפרעה, עיכוב הדדי)
Counter conditioning: CS→food קשה אח"כ להתנות CS→shock
US אברסיבים ואפטטיבים מבטלים זה את זה: CS(shock)→food לאחר ההתניה נעלמת התגובה (UR) לשוק כשוק, והוא מאבד מערכו האברסיבי (בדיקה ע"י suppression).
CS שנקשר למערכת מוטיבציונית אחת יגביר התנהגות התלויה בה וידכא התנהגות שתלויה במערכת המנוגדת: ב-PIT גירוי שהותנה לשוק מדכא תגובות אפטטיביות ומגביר תגובות המנעות, ולהיפך גירוי שהותנה למזון.
אנטגוניזם = מנוגד, מדכא זה את זה

10. Konorski – מערכות מוטיבציוניות מנוגדות
שתי הנחות בבסיס התאוריה:
לכל US תכונות סנסוריות ותכונות רגשיות/מוטיבציוניות (affect). הסנסוריות קובעות את סוג ה-URs המעוררים, האפקטיביות אחראיות ליכולת החיזוק של הגירוי, והן מ-2 סוגים בלבד. לכל החיזוקים האפטטיבים אותן איכויות רגשיות (מעוררים אותו central motivational state), וכך גם לאברסיבים.
Dickinson – CS(shock)→water גורר ירידה ביכולת של ה-CS לתפקד כ-US בניסוי CER, אך לא פוגע במידת עצימת העין (UR) שהוא גורם
לשני המצבים המוטיבציונים השפעה מעכבת זה על זה.
אנטגוניזם = מנוגד, מדכא זה את זה

11. Konorski – מערכות מוטיבציוניות מנוגדות
Konorski (1976), Balleine+Dickinson (2002)
מסלול ישיר לאפקט:
Transreinforcer blocking
קשרי CS→US:
Sensory preconditioning
Transreinforcer blocking – CS1→shock, אח"כ CS1+CS2→no food => רואים ש-CS1 חוסם את ההתניה של CS2!
התניה מסדר שני להדגמת קשר ישיר CS→CR: CS1→CS2→US ואז CS2→new US לא משפיע על ה-CR ל-CS1
Pavlovian conditioning gives rise to at least two types of associations. One is between a representation of the CS and a representation of the US. This gives rise to stimulus substitution effects (in which the animal treats the CS as if it were the US), and a class of CRs which reflect the specific sensory-perceptual properties of the US, and have been termed ``consummatory responses'', such as salivating to food, licking to water, eye-blinking to a puff of air, etc. A second type of association is formed between the CS and a generic appetitive or aversive motivational system (depending on the class of USs used). This direct association does not depend on the specific sensory properties of the US, and allows the CS to activate non-US-specific preparatory CRs, such as approach or withdrawal (termed ``preparatory responses''). The motivational system can also be activated by the CS indirectly, via a link between the US representation (which is associated with the CS) and the appropriate motivational system. Dickinson and Balleine (2002) hypothesize that the indirect activation of the motivational system by the US representation is gated by the motivational importance of the US. Thus, for instance, the strength of a consummatory response to a water US is monotonically related to the degree of thirst. Thus, although Pavlovian CRs are not controlled by the contingency between the conditioned response and the US, their performance can be sensitive to the level of motivation for the US. Furthermore, associations can also be formed directly between the CS and the CR, as has been shown in secondary conditioning paradigms.
מסלול ישיר CS→CR:
התניה מסדר שני

12. Opponent processes
ההבחנה בין התניה אקסיטטורית לאינהיביטורית בלתי תלויה בזו שבין אפטטיבית ואברסיבית: CS יכול לסמן הופעה או אי-הופעה של US אפטטיבי או אברסיבי.
כדי לדעת מה תהיינה השפעותיו של גירוי CS צריך לדעת איזה סוג התניה עבר ועם איזה סוג חיזוק!
מערכת רגשית אפטטיבית
אינהיביטורי
(-1)
אקסיטטורי
(+1) -1
Frustration +1
Hope
אפטטיבי
Relief
Fear
אברסיבי
מערכת רגשית אברסיבית
למשל: בניגוד לקושי להפוך CS אברסיבי לאפטטיבי, קל להתנות אותו כאינהיביטורי למזון!
גם התגובות (CR) לשניהם יהיו דומות (תגובות של אגרסיביות בקופים למשל)
אבל: ניתן לדבר על דמיון בין ארוע השמטת חיזוק לבין מתן חיזוק רק בהתיחס לאיכויות מוטיבציוניות/רגשיות – מבחינה סנסורית אין כלל דמיון ביניהם.

13. Solomon + Corbit: Opponent process model
חקרו התמכרות לחויות מסוכנות
הרעיון: ארוע בעל משמעות מוטיבציונית מעורר תגובה ראשונית A, ותגובת נגד B (מחזירה לאיזון). דוגמא: מורפין, אמפטמינים, שוק חשמלי
A state – סמוך לגירוי, תלויה בעצמתו
B state – מאוחר יותר ולאורך זמן
ההתניה: רק ל-B (דוג' בבע"ח - אינסולין, מורפין), אשר עם הזמן B מתעצם ומופיע מוקדם יותר ובכך מבטל את השפעת A (tolerance, withdrawal)
התניה תלויה גם במרווחים בין ה-USים
הסבר להתמכרות לסמים? (coping עם מצב B אברסיבי) (מוות ממנת יתר: בקונטקסט אחר, בו יש פחות תהליך B)

14. התניה אינהיביטורית ודופמין
דופמין: השערת טעות הניבוי
אבל: תאי דופמין יורים גם לגירויים חדשים (novel)
אולי דופמין בעצם מסמל בולטות ((salience ולא טעות ניבוי? מסייע להפניית קשב לארועים חשובים בסביבה.
שימוש בהתניה אינהיביטורית: גירוי אינהיביטורי בולט ומעורר קשב, אך טעות הניבוי שהוא מעורר שלילית ולא חיובית  עימות ישיר בין שתי התאוריות
מה נצפה (בזמן ה-CS ובזמן ה-US) עפ"י כל תאוריה?
ציפיות: לציין לחוד – גירוי אקסיטטורי עם חיזוק וללא חיזוק, אקסיטטורי + אינהיביטורי ללא חיזוק, גירוי אינהיביטורי לבד

15. DA firing patterns in inhibitory conditioning (Tobler, Dickinson and Schultz, 2003)
A → reward / A+X → no reward
Delay conditioning, 1.5sec
CSs: Visual stimuli
US: drops of juice
CR: anticipatory licking

16. תגובות נוירוני דופמין (רישום חוץ תאי)

17. הכחדה של גירוי אינהיביטורי
גירוי אקסיטטורי: הצגה ללא US גורמת להכחדה (של ה-CR וכן התגובה הנוירונלית
גירוי אינהיביטורי: לפי TD גם היה צריך להיות מוכחד אם הוא מוצג לבדו ללא US. אך התנהגותית זה לא כך.
כיצד מכחידים גירוי אינהיביטורי?

18. התניה אברסיבית: נוירומודולטורים
תאי דופמין: לא מגיבים לגירויים אברסיבים (אך כן להעדר אפטטיבים...)
השערה (Daw et al 2002): הנוירומודולטור serotonin מהווה 'יריב' לדופמין, ומקודד ארועים אברסיבים (וטעויות ניבוי לגביהם).
אין עדיין הוכחות ישירות

19. התניה אברסיבית: הדמיה (Seymour et al. 2004)
התניה אברסיבית מסדר שני (חזרה ל'סיבה' הראשונית ל-TD), בניסוי שמאפשר לבחון גם את הניבויים וגם היפוכם.
41% 9%
מאפשר לבחון גם ניבויים וגם את היפוכם

20. התניה אברסיבית: הדמיה (Seymour et al. 2004)
ניבויים של TD לגבי איך ייראו הערכים ואיך תראה טעות הניבוי

21. התניה אברסיבית: הדמיה (Seymour et al. 2004)
רגרסיה של אלו מול המח: אילו אזורים במח מצויים בקורלציה עם טעות הניבוי ?

22. טעויות ניבוי ב-ventral putmen

23. התניה אברסיבית: הדמיה (Seymour et al. 2004)
אילו אזורים במח מצויים בקורלציה עם הערך V?

24. תחרות בהתניה קלאסית: מעבר לאדטיביות
חסימה, הצללה – הוסברו כתוצאה מסכימה של מנבאים
תאוריות (מנוגדות) של קשב (Mackintosh, Pearce+Hall): קשב גורם לשינוי האסוציאביליות של CS כך שמתחדשת הלמידה אליו (יכול להסביר ניבוי אקסיטטורי ב-downward unblocking). אבל: איך משלבים מספר מנבאים?
למה קשב גורם לתחרות על כח אסוציאטיבי? התשובה: משאבים מוגבלים
האם תמיד תחרות היא רק תוצאת אין-ברירה של משאבים מוגבלים? אולי יש מצבים שהיא דווקא אופטימלית?
Downward unblocking: A→r….r AB→r (if the time between the two r’s was sufficiently long, B will become an excitor rather than an inhibitor, i.e., will predict r rather than its absence!)
Associability theories: when there is a prediction error (attention) the learning rates become positive thus allowing positive learning for the new stimulus as learning is via the RW rule but for each predictor separately (without combining predictions of all CSs)

25. Dayan, Kakade + Montague 2000 – אי ודאות והתניה קלאסית
לכל ערך של גירוי מוצמד גם מידת בטחון (uncertainty) בערך. הבטחון יורד ככל שעובר זמן מאז שהגירוי הוצג לאחרונה.
מבחינת שילוב אופטימלי של מידע חדש עם ישן, ככל שהבטחון נמוך יותר, נרצה להגביר את קצב הלמידה (למה?)
מה יקרה ב-t* ומה יקרה ב-ts?

26. Dayan, Kakade + Montague 2000 – אי ודאות והתניה קלאסית
מה יקרה ב-t* ומה יקרה ב-ts?

27. Kalman filter – הסקה סטטיסטית ותחרות
במודל סטטיסטי מסויים של העולם, ההסקה הסטטיסטית האופטימלית (מהנצפה אל הערכים האמיתיים, לפי חוק Bayes) היא עפ"י Kalman filter:
מגלם: קצב למידה תלוי בבטחון היחסי; תחרות

28. שימושי התניה קלאסית בבני אדם: טיפול בפוביות
רוב התגובות האמוציונליות שלנו נלמדות, דרך התניה קלאסית
Watson+Rayner (1920) – בדקו תגובות של תינוקות לגירויים שחשבו שהם מפחידים מלידה (אש, חולדות, כלבים) – אף אחד מהם לא היה מפחיד. צליל חזק: כן.
ניסוי אלברט הקטן המפורסם (לא הגיע לסיומו)
פוביות: פחד בלתי פרופורציונלי לסכנה שבמצב. 7-20% יש סימפטומים, 1% - פוביה חמורה הפוגעת בתפקוד.
תלמידה של Watson: Mary Jones השתמשה בהתניית נגד בכדי לבטל התניית פחד.
התניית נגד: שילוב CS-ים עם תגובות נוגדות. התהליך הדרגתי
כיום מקובל: Systematic desensitization במצב של רגיעה עמוקה מעלים באופן הדרגתי גירויים יותר ויותר מפחידים

29. שימושי התניה קלאסית בבני אדם
מניעת אברסיה למזון בחולים המקבלים כמותרפיה ע"י סוכריה מסויימת לפני הטיפול (תהיה אברסיה רק אליה)
פרסום: צימוד של המוצר ל-US המעורר תגובה רגשית חיובית גורם ליחס חיובי יותר למוצר
Conditioned immunosuppression: לטיפול בשלבקת חוגרת (Lupus), למשל. התרופות גורמות לעיכוב מערכת החיסון. צימוד של CS (שמן עם טעם מסויים) עם התרופה  בהמשך ניתן לתת את השמן במקום התרופה ותתקבל אותה תגובה חיסונית!
(אותו דבר אולי באלרגיות – אלרגיה נלמדת למראה פרחים, ולא לאבקנים)