1. Chapter 1. Imitation: Thoughts about Theories in Imitation and Social Learning in Robots, Humans and Animals, Nehaniv and Dautenhaln. Course: Robots Learning from Humans
Geonmo Gu
Computer Theory and Application Laboratory
School of Computer Science and Engineering
Soojin Jung
Cognitive Psychology
Department of Cognitive Science
안녕하세요. 저는 컴퓨터 공학부 학생 구건모이구요.
컴퓨터 이론 및 응용 연구실에 있습니다.
제가 오늘 발표할 내용은 Imitation에 대한 내용입니다.

2. Contents Introduction The Correspondence Problem Three theories
Active Intermodal Mapping (AIM)
Goal-Directed Imitation (GOADI)
Associative Sequence Learning (ASL)
Contrasting 3 theories
Issue 1: Effect-dependency
Issue 2: Awareness
Questions for ASL model: about Intention
Conclusion & Discussion
이 챕터는 Imitation에 대해서 다루는데 특히 다른 사람의 동작, Action을 따라하는 imitation에 대해서 다룹니다.
여기에 관련된 문제로 correspondence problem이라는 것이 있는데 제 발표에서는 이 문제를 중점으로 다룹니다.
Correspondence problem을 어떻게 풀 수 있는가,
사람이 어떻게 다른 사람의 동작을 따라 하는가에 대한 이론이 3가지가 있어서
이 이론들을 설명 드리는 것이 제 발표의 목표입니다.

3. Introduction
Imitation as Transferred information between Agents (biological, computational or robotic autonomous systems).
Challenge in imitation theory:
HOW observation of action facilitates production of matching movements.
Imitation이라는 것은 다른 사람의 어떤 모습을 따라 하는 것입니다.
그것은 어떤 동작을 따라 하는 것일 수도 있고, 소리를 따라 내는 것, 비슷한 감정이나 생각을 가지는 것이 모두 포함되는 포괄적인 내용입니다.
그 중에서 이 챕터에서 관심을 가지는 Imitation은 동작을 따라 하는 Imitation입니다.
특히 동작을 따라 하는 imitation은 어떻게 다른 사람의 동작을 보는 것 만으로 똑같은 동작을 따라 할 수 있는지 설명하는 것이 중요한 문제입니다.

4. The Correspondence Problem
The problem for one individual of producing behaviour that matches with behavior it observes in another.
The observer must formulate motor commands to match visual input
Observer
Model
Visual Input
이 내용이 correspondence problem이라는 문제로 정의 됩니다.
이 문제에서는 Observer와 Model 두 사람이 있습니다.
Model이 어떤 동작을 취하면 Observer는 그 동작을 보고 같은 동작을 취하는 것이 문제입니다.
이 때 Observer는 visual input, 시각적 정보를 입력으로 해서
Motor command, 똑같은 동작을 만들어 내는 것이 출력이 됩니다.

5. The Correspondence Problem
The problem for one individual of producing behaviour that matches with behavior it observes in another.
The observer must formulate motor commands to match visual input
Observer
Model
Visual Input
이 내용이 correspondence problem이라는 문제로 정의 됩니다.
이 문제에서는 Observer와 Model 두 사람이 있습니다.
Model이 어떤 동작을 취하면 Observer는 그 동작을 보고 같은 동작을 취하는 것이 문제입니다.
이 때 Observer는 visual input, 시각적 정보를 입력으로 해서
Motor command, 똑같은 동작을 만들어 내는 것이 출력이 됩니다.

6. The Correspondence Problem
The problem for one individual of producing behaviour that matches with behavior it observes in another.
The observer must formulate motor commands to match visual input
Model
Motor command
이 내용이 correspondence problem이라는 문제로 정의 됩니다.
이 문제에서는 Observer와 Model 두 사람이 있습니다.
Model이 어떤 동작을 취하면 Observer는 그 동작을 보고 같은 동작을 취하는 것이 문제입니다.
이 때 Observer는 visual input, 시각적 정보를 입력으로 해서
Motor command, 똑같은 동작을 만들어 내는 것이 출력이 됩니다.
Observer

7. The Correspondence Problem
Observer has
Visual Information of model’s action
Motor information (feeling) of observer’s action
Observer
Model
Visual Input
Observer
Model
이 문제에서 어려운 점은 Observer가 가지고 있는 정보의 형태가 다르다는 것입니다.
관찰하는 사람은 다른 사람이 어떻게 움직이는 지에 대한 시각정보는 있는데
자기 자신이 어떻게 움직이는 지에 대한 시작정보는 없습니다.
Visual information

8. The Correspondence Problem
Observer has
Visual Information of model’s action
Motor information (feeling) of observer’s action
Observer
Model
Visual Input
NO Visual information
Visual information
이 문제에서 어려운 점은 Observer가 가지고 있는 정보의 형태가 다르다는 것입니다.
관찰하는 사람은 다른 사람이 어떻게 움직이는 지에 대한 시각정보는 있는데
자기 자신이 어떻게 움직이는 지에 대한 시작정보는 없습니다.

9. The Correspondence Problem
Observer has
Visual Information of model’s action
Motor information (feeling) of observer’s action
Observer
Model
Visual Input
Motor information (feeling)
Visual information
다만 자기가 어떻게 움직이는 지에 대한 체감정보, 느낌을 가지고 있습니다.
이렇게 가지고 있는 정보의 형태가 다른데 어떻게 똑같은 동작을 따라 할 수 있는지에 대한 설명이 필요합니다.

10. The Correspondence Problem
Observer has
Visual Information of model’s action
Motor information (feeling) of observer’s action
Observer
Model
Motor information (feeling)
Visual information
feeling
다만 자기가 어떻게 움직이는 지에 대한 체감정보, 느낌을 가지고 있습니다.
이렇게 가지고 있는 정보의 형태가 다른데 Observer가 어떻게 똑같은 동작을 따라 하고 있다고 판단할 수 있는지에 대한 설명이 필요합니다.

11. 3 Theories on Imitation 1. Active Intermodal Mapping (AIM)
2. Goal-Directed Imitation (GOADI)
3. Associative Sequence Learning (ASL)
그래서 이 문제에 대한 이론이 3가지 있습니다.
먼저 Active intermodal mapping theory부터 알아보겠습니다.
<GOADI>
<ASL>
<AIM>

12. 3 Theories on Imitation 1. Active Intermodal Mapping (AIM)
2. Goal-Directed Imitation (GOADI)
3. Associative Sequence Learning (ASL)
그래서 이 문제에 대한 이론이 3가지 있습니다.
먼저 Active intermodal mapping theory부터 알아보겠습니다.
<GOADI>
<ASL>
<AIM>

13. 1. Active Intermodal Mapping (AIM)
Visual representation
Motor representation
Supramodal representation
Model
Organ relation
feeling
Observer
Active Intermodal Mapping (AIM) theory는 imitation에 관여하는 세 종류의 표현이 있다고 주장합니다.
시각적 정보를 표현하는 visual representation이 있고
체감적 정보를 표현하는 motor representation이 있고
그 두 representation을 통합해서 표현할 수 있는 감각 통합적 representation이 있다는 것입니다.
그것을 Organ relation이라고 합니다.
Visual representation
Supramodal representation
Motor representation

14. 1. Active Intermodal Mapping (AIM)
Visual information: adult’s tongue-protrusion
Motor information: infant’s feeling
Organ relation: tongue-beyond-lips
Organ: part of body. head, brows, tongue, lips
Tongue-beyond-lips
예를 통해서 살펴보면
갓 태어난 아기가 어른의 얼굴 동작 특히 혀를 내미는 모습을 따라 한다는 연구결과를 보신 적 있을 겁니다.
이때 아기들이 가지고 있는 정보는 어른의 혀 내미는 동작에 대한 시각 정보
그리고 자신이 혀를 내밀고 있는 동작에 대한 느낌정보가 있습니다.
AIM theory 는 이 두 가지 Organ relation으로 통합해서 표현할 수 있다고 합니다.
Organ은 몸의 일부분인 입술, 눈썹, 혀 등이 되겠구요.
여기서 혀를 내미는 동작을 표현하는 Organ relation 은 Tongue-beyond-lips라고 해서 혀가 입술 너머로 나온 것.입니다.
Visual information 과 Motor information 은 모두 Tongue-beyond-lips 라는 organ relation으로 바뀌어서 두 동작이 같은지 다른지 비교되게 됩니다.
Facial imitation

15. 1. Active Intermodal Mapping (AIM)
Correspondence problem
그러면 AIM은 correspondence을 어떻게 이야기 하냐면
Model의 Visual information과
Observer의 Motor information 은 통합적인 표현으로 바뀌어서 모델과 Observer의 동작이 같은지 다른지 판별된다고 합니다.
만약에 비교를 해봤는데 동작이 다르면 동일한 동작을 따라 할 때까지 이 과정을 반복해서 똑같은 동작을 따라 할 수 있게 된다 라고 설명합니다.

16. 3 Theories on Imitation 1. Active Intermodal Mapping (AIM)
2. Goal-Directed Imitation (GOADI)
3. Associative Sequence Learning (ASL)
이제 두 번째로 설명할 이론은 Goad directed Imitation theory 입니다.
<GOADI>
<ASL>
<AIM>

17. 2. Goal-Directed Imitation
The GOADI theory of imitation suggests that perceived actions are decomposed into a series of ‘aspects’.
Only some goal aspects are imitated; movement end-points and the manipulation of objects are more likely to be imitated than either the effector or the movement path.
이 이론은 사람이 동작을 따라 할 때 사실을 그 동작 그 자체를 따라 하는 것이 아니라 동작 안에서 특정한 목표를 찾아서 목표를 따라 한다는 것입니다.
여기에 이런 동작을 따라 하는 실험이 있었습니다.
펜 뚜껑이 위로 가도록 놓여져 있고 컵이 왼쪽에 1개 오른쪽에 1개 있습니다. 모델은 이 펜을 왼손으로 잡아서 펜 뚜껑이 아래로 가도록 돌린 후 오른쪽 컵에 놓습니다.
이 동작에는 3가지 포인트가 숨어있는데요, 펜을 왼손으로 쥘 것인가 오른손으로 쥘 것인가, 펜을 돌리는 방향이 시계방향인가 반 시계방향인가, 펜을 거꾸로 돌려서 어느 쪽 컵에 놓는가 입니다. 이러한 것들을 이야기 하지 않고 동작을 따라 해보라고 했더니
따라 하는 사람이 과정보다는 결과를 더 잘 따라 하는 경향을 보였습니다.
그러니까 펜을 돌리는 방향이나 펜을 쥐는 손보다는 펜이 마지막에 있어야 할 위치인 오른쪽 컵, 그리고 펜 뚜껑이 아래로 가도록 하는 것 등을 더 정확하게 따라 한 것입니다.
Goal-Directed Imitation은 이렇게 동작에서 목표를 찾아내서 목표가 달성되도록 행동한다는 것입니다.

18. 2. Goal-Directed Imitation
Correspondence problem:
No special relationship between matching movements under GOADI.
Goal imitation: if the movement most commonly associated with the perceived goal is different from the movement of the model, then goal, but not movement, imitation will occur.
Perceived Action
Extracted
Goals
Goal
Representation
Commonly
Associated
Motor program
이 이론에서는 Correspondence problem을 어떻게 이야기 하냐면
Model의 동작과 따라 하는 사람의 동작이 match되는지 판별하지 않는다고 합니다.
다만 Goal Imitation이 일어나는데, 관찰한 동작에서 Goal을 찾아낸 다음에 그 Goal을 달성하기 위해서 필요한 가장 관련된 동작을 수행할 뿐이라는 것입니다.

19. Structures of Models AIM GOADI ASL Perceived Action Motor Commands
Supramodal
Representation
Motor
Commands
AIM
Perceived Action
Goal
Representation
Commonly
Associated
Motor program
GOADI
Perceived Action
Performance of
Action
ASL
여기까지 정리하면 AIM이라는 theory, GOADI이라는 theory 2개를 소개했습니다.
AIM은 Sensor와 Motor를 통합하는 표현이 있어서 그 표현을 사용해서 따라 한 동작이 match되는지 확인했고요.
GOADI 관찰한 동작에서 Goal을 찾아내서 그 Goal 하고 가장 관련된 동작을 수행한다고 했습니다.
이제 볼 ASL은 중간에 다른 표현 없이 Sensor와 Motor가 연결된다고 생각하는 이론입니다.

20. 3. Associative Sequence Learning
Vertical associations
Indirect vertical associations
ASL theory는 sensor하고 motor사이에 Vertical link와 Indirect Vertical link가 있다고 이야기 합니다.
여기서 Sensory는 시각이나 청각 자극에 의해서 활성화 되고
Motor는 어떤 동작을 수행할 때 활성화됩니다.

21. 3. Associative Sequence Learning
Vertical Associations
A few may be innate
The majority are formed in a Hebbian fashion.
Sensory와 Motor를 잇는 Vertical Link는 Hebbian learning 으로 만들어집니다.
즉, 경험에 의해서 형성되는 link 입니다.
Sensor와 Motor가 동시에 활성화되면 그 둘의 연결성이 강해지는 것이지요.
이것은 사람이 자기 자신의 몸을 보면서 몸을 움직일 때를 예로 들 수 있습니다.
자신의 손을 바라보면서 손을 움직일 때, 손을 어떻게 움직일 때 그것의 모습은 어떻게 보이는지 등을 학습할 수 있습니다.
또 거울에 비친 자신의 얼굴을 보면서 다양한 표정을 지을 때 동시에 활성화된 자신의 얼굴 표정에 대한 시각정보와 체감정보의 연결성이 강해지는 것입니다.

22. 3. Associative Sequence Learning
Indirect vertical association
Word
smile
ASL은 Sensor하고 Motor가 간접적으로도 연결될 수 있다고 이야기 하는데요
앞의 Vertical link의 예시에서는 자기 자신의 몸을 움직일 때 연결성이 강해졌는데
Indirect vertical link는 다른 사람이 몸을 움직이는 것을 보는 것만으로도 연결성이 강해질 수 있습니다.
예를 들어서 내가 얼굴을 찌푸리고 있을 때 frown이라는 단어를 듣게 될 수도 있는데
다른 사람이 얼굴을 찌푸리고 있을 때 frown이라는 단어를 듣게 될 수 있습니다.
이 경우에 frown이라는 단어를 통해서 sensory와 motor의 연결성이 생길 수 있는 것입니다.

23. 3. Associative Sequence Learning
Indirect vertical association
Word
smile
ASL은 Sensor하고 Motor가 간접적으로도 연결될 수 있다고 이야기 하는데요
앞의 Vertical link의 예시에서는 자기 자신의 몸을 움직일 때 연결성이 강해졌는데
Indirect vertical link는 다른 사람이 몸을 움직이는 것을 보는 것만으로도 연결성이 강해질 수 있습니다.
예를 들어서 내가 얼굴을 찌푸리고 있을 때 frown이라는 단어를 듣게 될 수도 있는데
다른 사람이 얼굴을 찌푸리고 있는 모습을 볼 때 frown이라는 단어를 듣게 될 수 있습니다.

24. 3. Associative Sequence Learning
Correspondence problem (imitation)
Observer
Model
Visual Input
마지막으로 ASL은 Correspondence problem에 대해서 어떻게 이야기 하냐면
경험적으로 사전에 sensor 와 motor 간의 link가 올바르게 연결이 되서
동작을 따라 할 때는 sensor에 연결된 motor command 를 수행 함으로서 똑같은 동작을 수행하는 것이 가능하다라고 합니다.

25. 3. Associative Sequence Learning
Correspondence problem
Observer
Model
Visual Input
마지막으로 ASL은 Correspondence problem에 대해서 어떻게 이야기 하냐면
경험적으로 사전에 sensor 와 motor 간의 link가 올바르게 연결이 되서
동작을 따라 할 때는 sensor에 연결된 motor command 를 수행 함으로서 똑같은 동작을 수행하는 것이 가능하다라고 합니다.

26. 3. Associative Sequence Learning
Correspondence problem
Observer
Model
Visual Input
마지막으로 ASL은 Correspondence problem에 대해서 어떻게 이야기 하냐면
경험적으로 사전에 sensor 와 motor 간의 link가 올바르게 연결이 되서
동작을 따라 할 때는 sensor에 연결된 motor command 를 수행 함으로서 똑같은 동작을 수행하는 것이 가능하다라고 합니다.

27. 3. Associative Sequence Learning
Correspondence problem
Observer
Model
Visual Input
마지막으로 ASL은 Correspondence problem에 대해서 어떻게 이야기 하냐면
경험적으로 사전에 sensor 와 motor 간의 link가 올바르게 연결이 되서
동작을 따라 할 때는 sensor에 연결된 motor command 를 수행 함으로서 똑같은 동작을 수행하는 것이 가능하다라고 합니다.

28. 3. Associative Sequence Learning
Correspondence problem
Observer
Model
Visual Input
smile
마지막으로 ASL은 Correspondence problem에 대해서 어떻게 이야기 하냐면
경험적으로 사전에 sensor 와 motor 간의 link가 올바르게 연결이 되서
동작을 따라 할 때는 sensor에 연결된 motor command 를 수행 함으로서 똑같은 동작을 수행하는 것이 가능하다라고 합니다.

29. 3. Associative Sequence Learning
Correspondence problem
Observer
Model
Visual Input
smile
마지막으로 ASL은 Correspondence problem에 대해서 어떻게 이야기 하냐면
경험적으로 사전에 sensor 와 motor 간의 link가 올바르게 연결이 되서
동작을 따라 할 때는 sensor에 연결된 motor command 를 수행 함으로서 똑같은 동작을 수행하는 것이 가능하다라고 합니다.

30. Summary Correspondence problem Active Intermodal Mapping (AIM)
Goal-Directed Imitation (GOADI)
Associative Sequence Learning (ASL)
정리하면 한 사람이 다른 사람의 동작을 따라 하는 Correspondence problem이 있는데
이 문제의 어려운 점은 sensor와 motor representation을 어떻게 비교해서 다른 사람의 동작을 똑같이 따라 하고 있는지 확인 하는지였습니다.
AIM은 sensor와 motor representation이 하나의 통합 representation으로 바뀌어서 비교될 수 있다고 하는 이론이었구요.
GOADI는 관찰한 동작에서 목표를 찾아서 목표하고 가장 관련된 동작을 수행하는 Goal imitation이 일어난다고 하였습니다.
ASL은 Sensor와 motor 간의 Vertical link와 Indirect Vertical link들이 경험에 의해서 만들어지고 Imitation은 Sensor와 연결된 Motor representation을 수행함으로 달성 된다 라고 이야기 했습니다.

31. Contents Introduction The Correspondence Problem Three theories
Active Intermodal Mapping (AIM)
Goal-Directed Imitation (GOADI)
Associative Sequence Learning (ASL)
Contrasting 3 theories
Issue 1: Effect-dependency
Issue 2: Awareness
Questions for ASL model: about Intention
Conclusion & Discussion
이 챕터는 Imitation에 대해서 다루는데 특히 다른 사람의 동작, Action을 따라하는 imitation에 대해서 다룹니다.
여기에 관련된 문제로 correspondence problem이라는 것이 있는데 제 발표에서는 이 문제를 중점으로 다룹니다.
Correspondence problem을 어떻게 풀 수 있는가,
사람이 어떻게 다른 사람의 동작을 따라 하는가에 대한 이론이 3가지가 있어서
이 이론들을 설명 드리는 것이 제 발표의 목표입니다.

32. Contrasting 3 theories ★ two criteria Effector-dependency Awareness
Whether observation can support effector-dependent learning
Whether Imitation Learning can occur without awareness

33. Effector-dependency issue
Some kinds of Training are not generalized to others.
ex) Right-Left hand using is not convertible (Bapi et al, 2000)

34. Explanation for Effector-dependency
Different predictions of 3 Theories on Effector-dependent observational learning
 AIM
GOADI
ASL
Frequency
None (always effector-independent)
Rare (Actions not encoded at global level)
Usual
Principal
(transformed into) Supramodal representation
action “Effects"
Visual experience paring with motor activation
Result
various motor outputs
Goal-directed action
ex) finger movement

35. Experiment: Effector-dependent learning by observation.
(Bird and Heyes, 2005; Heyes and Foster, 2002; Osman etal., 2005)
- Observers’ better performing(:typing speed)
the finger movement sequence
with using same finger of model’s
Direct link between Perception & Action

36. Explanation for Awareness
AIM
GOADI
ASL
Awareness O
X / ?
Mechanism
Active
Goal-directed
Automatic
Base
not mentioned
Goal-directed imitation’ theory
(on next slides)

37. Experimental Evidences for automatic imitation
1. Electrophysiological(MEP) study: Motor facilitation by action observation
(Aziz-Zadeh et al., 2002; Maeda et al., 2002; Strafella and Paus,2000)
2. ‘Chameleon effect’ in social interaction
(Chartrand and Bargh, 1999; Lakin and Chartrand, 2003)

38. Questions for ASL model
Intentional vs. incidental imitation
ASL Model is NOT considering
- a representation of the model’s action goals,
- role of amodal (non-sensory, non-motor)
representations of action.
Contrary to our introspective plausibility

39. Thoughts about the Intentionality issue
Relationship between intentional processing
and the vertical associations mediating imitation
Without Intention,
Movement observation Motor activation by ASL.
Automatic process (e.g.: Hebbian learning.)
normally INHIBITED to prevent overt imitation
With Intention,
Disinhibition on vertical association
Formulation of verbal description of observed action.
c.f) Vocabulary limitation : dancers and gymnasts’ special vocab uses.

40. Conclusion(part 2.) model’s Goals explaining what is imitated,
Vertical Association explaining How imitation is achieved.
한 가지 모델만으로 모방 학습에 대해 설명할 필요는 없음.
모방 학습 상황에 대한 이론으로서, GOADI와 ASL이 상호보충적 설명 가능.

41. Discussion
#1.
Is ‘Imitation’ Default of Human cognitive-behavior system?
How broadly can it be applied over areas? (Social/ Functional / Evolutionary..)
#2.
In the Goal-Directed Imitation
The goal of the imitator is to produce exactly the same body movement.
Cases like this pose the correspondence problem, and yet GOADI is silent about how this problem may be solved.