1. Kinect and its Application Movement Research Lab Kyungyong Yang

2. Overview  Kinect  Kinect in Research  Kinect in Medical

3. Controllers

4. XBOX 360 Kinect

5. Kinect Commercial  http://www.youtube.com/watch?v=T_QLguHvACs http://www.youtube.com/watch?v=T_QLguHvACs

6. Issues Action Object Real World Recognize Computer

7. How to  3D Motion Capture  3D Surface Scan  Depth Camera  Etc…

8. Depth Camera Depth Image RGB Image

9. How Kinect Works Evaluate near-infrared reflection time Create accurate depth map

10. Depth Cube Display

11. Human Body Depth Image Can you recognize each body parts? Is it possible to computer?

12. Human Pose Recognition

13. Kinect Mainstream

14. Body Part Recognition  다양한 체형과 자세로 선행 학습

15. Human Joint Estimation  선행 학습한 데이터를 이용  새로 입력되는 데이터로 human pose 생성

16. Overview  Kinect  Kinect in Research  Kinect in Medical

17. Research  Issue  잘 동작하게 하기 위해서 많은 예제를 사전학습 해야 한다.  데이터를 무한정 늘릴 수 없으므로 선정이 중요하다.  중복되지 않으면서 부족한 예제가 없도록 만들자  Data의 uniform sampling이 필요

18. Research  앉는 동작 선행 학습  선 동작 선행 학습

19. Research  Labeling issue

20. Research  Joint estimation issue  Labeling에 많은 noise가 있을 경우 일부 body part가 없 을 수 있다.  Labeling에 실패한 body part에 대한 처리 과정 필요

21. Research  Use bayesian estimation  P(X|Z) = max( P(X|X’)P(X’|Z’) ) P(Z|X) P(X)  P(X|Z) : Joint estimation X probability with given labeling Z  P(X|X’) : Transition probability from X’ to X  P(X’|Z’) : Last joint estimation probability  P(Z|X) : Labeling probability with given joint estimation X  P(X) : J oint estimation X probability with given model

22. Overview  Kinect  Kinect in Research  Kinect in Medical

23. Touchless Controller  http://www.youtube.com/watch?v=M-wLOfjVfVc http://www.youtube.com/watch?v=M-wLOfjVfVc

24. Medical Application  수술실에서 오염되지 않고 기기를 자유롭게 제어할 수 있다.  스페인 Tedesys 수술실  의사들이 손 동작을 통해 MRI 및 CAT 스캔 영상 제어.

25. Kinect in Operation Room  http://www.youtube.com/watch?v=ZEQcOydY2k8 http://www.youtube.com/watch?v=ZEQcOydY2k8

26. Fitness Trainer Application  http://www.youtube.com/watch?v=2tSNsb7l0AM http://www.youtube.com/watch?v=2tSNsb7l0AM

27. 홈 재활운동 트레이너  꾸준한 재활 운동이 필요한 환자  매일 의사나 전문가가 체크하기 어려움  Kinect를 이용한 자가 재활운동

28. Conclusion  At the research viewport  Kinect is very strong depth input device.  At the development viewport  Kinect is very strong motion controller.  At the medical viewport  Kinect is some aid.

29. Q/A Thank You!