1. Retinex 를 이용한 안정적인 Motion Tracking Interaction 콘텐츠 개발 www.pptkorea.com DongSeo University Department of Visual Contents Ki-Young Sung skyline1@nate.com

2. CONTENTS 서론 관련연구 시스템 구성 Motion Tracking Analysis Physics 결론 Reference

3. 서 론

4. 1. 서론 1.1. 연구배경 ※출처 : 2008 국내외 문화콘텐츠 산업 전망 ( 한국문화콘텐츠진흥원 )

5. 1. 서론 1.2. 개요

6. 1. 서론 1.2. 개요 KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics”

7. 관련 연구

8. 2. 관련연구 2.1. 인터렉티브 콘텐츠 연구 KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics”

9. 2. 관련연구 KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” 2.2. 기존 인터렉티브 콘텐츠 연구

10. 2. 관련연구 KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” 2.2. 기존 인터렉티브 콘텐츠 연구

11. 관련 연구

12. 3. 시스템 구성 3.1. 하드웨어 구성 HVR2300CA Beam ProjectorComputer KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” Viewrun DFK WebCam

13. 3. 시스템 구성 HVR2300CA Computer Beam Projector Screen 3.2. 하드웨어 설치 구성도 KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics”

14. 3.3. 시스템 단계 3. 시스템 구성 · Background Setting · Background Subtraction · Blurring · Labeling · Morphology · Contour Tracking Camera Setting Frame Grab Image Processing · Object OpenGL Display Physics KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics”

15. 3.4. 소프트웨어 구성도 3. 시스템 구성 KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics”

16. 3. 시스템 구성 KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” 3.4. 소프트웨어 구성도

17. 3. 시스템 구성 3.5. 시스템 설치 구상도 KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics”

18. Motion Tracking Analysis

19. 4. Motion Tracking Analysis 4.1. 백그라운드 캡쳐 KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics”

20. 4. Motion Tracking Analysis 4.2. Retinex Algorithm KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics”

21. 4. Motion Tracking Analysis 4.2. Retinex Algorithm KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics”

22. 4. Motion Tracking Analysis 4.2. Retinex Algorithm KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” 사전적인 의미 : Retinex( 망막 ) + Cortex( 피질 )

23. 4. Motion Tracking Analysis 4.2. Retinex Algorithm KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics”

24. 4. Motion Tracking Analysis 4.2. Retinex Algorithm KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” SSR (single-scale retinex) MSR (Multi-scale retinex)

25. 4. Motion Tracking Analysis 4.2. Retinex Algorithm KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” –I i (x,y) : 입력영상 –R i (x,y): 출력영상 – Gaussian function: F(x,y)=Ke -(x2+y2)/c2 K determined by: C is the Gaussian surround space constant

26. 4. Motion Tracking Analysis 4.2. Retinex Algorithm KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” K = 정규화 계수 σ = 가우시안 함수의 표준 편차 σ 의 크기에 따라 Retinex 결과 영상의 디테일이 증가 하거나 감소

27. 4. Motion Tracking Analysis 4.3. Retinex Algorithm 적용 KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” 실험 결과 : 정지 영상에서의 Retinex 적용 (8bit)

28. 4. Motion Tracking Analysis 4.3. Retinex Algorithm 적용 KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” 실험 결과 : 정지 영상에서의 Retinex 적용 (8bit)

29. 4. Motion Tracking Analysis 4.3. Retinex Algorithm 적용 KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” 실험 결과 : 리얼 타임상에서의 Retinex 적용 (8bit)

30. 4. Motion Tracking Analysis 4.3. Retinex Algorithm 적용 KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” 실험 결과 : 리얼 타임상에서의 Retinex 적용 (8bit)

31. 4. Motion Tracking Analysis 4.3. Retinex Algorithm 적용 KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” 실험 결과 : 리얼 타임상에서의 Retinex 적용 (8bit)

32. 4. Motion Tracking Analysis 4.3. Retinex Algorithm 적용 KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” 실험 결과 : 리얼 타임상에서의 Retinex 적용 (8bit)

33. 4. Motion Tracking Analysis 4.4. Blob Analysis KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics”

34. 4. Motion Tracking Analysis 4.4. Blob Analysis KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics”

35. 4.5. Morphology Analysis - BLOB 연산 후 남은 노이즈 제거를 위한 기법 KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” 4. Motion Tracking Analysis 팽창연산 침식연산 열림연산 닫힘연산

36. KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” 4. Motion Tracking Analysis 4.5. Morphology Analysis B=constant=0 인 경우 팽창연산 - 침식연산 - 열림연산 - 닫힘연산 -

37. 4.5. Morphology Analysis 침식 연산 팽창 연산 닫힘 연산 Blob 연산 + Morphology KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” 4. Motion Tracking Analysis

38. KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” 4. Motion Tracking Analysis 4.5. Morphology Analysis 역할효과 침식 연산 Object 를 축소시키고 배경을 강조하는 역할 영상의 노이즈제거와 배경 강조에 효과적 팽창 연산 객체를 확대시키고 배경을 축소시키는 역할 객체의 내부의 구멍을 채우거나 짧게 끊어진 영역을 연결시킴 열림 연산침식연산 수회 후 팽창 연산 배경의 노이즈를 제거하고 객체를 부 드럽게 얻음 닫힘 연산팽창연산 수회 후 침식 연산 대상의 확장을 통해 구멍을 메우고 침 식으로 원영상을 축소함

39. KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” 4. Motion Tracking Analysis 4.5. Morphology Analysis

40. 4.6. Contour Tracking - Blob 과 Morphology 과정을 끝낸 이미지에서 객체의 외곽선을 분리해내기 위한 연산 작업 start 1 2 3 4 5 6 7 0 8- 이웃 연결성 KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” 4. Motion Tracking Analysis

41. 4.7. OpenGL 매핑 & 오브젝트 생성 - 본 시스템은 OpenGL 로 표시하며 낙하하는 오브젝트는.TGA 포맷 사용 한글날 영상 작가전 사용 이미지서울 빛 축제 사용 이미지 KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” 4. Motion Tracking Analysis

42. Physics

43. 5. Physics 5.1. Dynamic Mass-Spring - 생성된 오브젝트의 자유낙하 운동을 구현하기 위해 사용 탄성 미적용 탄성 적용 KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics”

44. 5.2. Physics A A’ (1) KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” 5. Physics

45. 5.2. Physics - 방향성과 기울기, 운동 에너지 등을 실제와 같이 적용하기 위해 라그랑제 - 오일러 공식을 사용하였다. (1) 의 공식을 라그랑제 - 오일러 공식에 적용 KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” 5. Physics

46. 5.2. Physics Differentiating with ( 이동거리 ) ( 시간 ) ( 속도 ) Differentiating with ( 속도 )( 시간 ) ( 가속도 ) KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics”

47. 5. Physics 5.2. Physics - 다음 공식들을 조합하여 다음시간에 대해 다음 위치와 속도를 알아낼 수 있다. A 의 다음위치 A 의 다음속도 A A’A’ KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics”

48. 5. Physics 5.3. 충돌 이벤트 - 컨투어 트래킹으로 찾은 외곽 선과 오브젝트가 충돌시 이벤트 KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics” θ θ

49. 전시 사진 한글날 행사 ( 자모향유 ) KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics”

50. 전시 사진 서울 빛 축제 (Shadow Garden) KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics”

51. 결 론

52. 6. 결론 여러 가지 향상된 알고리즘을 사용하여 객체를 추적 시스템과 사용자 간의 상호작용 컨트롤러 없이 직접 몸으로 조작 가능 인터렉션 형식면에서 직감적인 사용자 몰입감을 주는 콘텐츠 콘텐츠 시장의 변화에 한 발 앞서 대비하는 계기 KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics”

53. 7. 레퍼런스 Anurag Mittal, Nikos Paragios, "Motion-Based Background Subtraction Using Adaptiv e Kernel Density Estimation," IEEEE Computer Society, vol.2,pp.302-309, 2004 ShahzadMalik, “Real-time Hand Tracking and Finger Tracking for Interaction”, CSC2 503F Project Report, December 18, 2003. Dung Duc Nguyen, Thien Cong Pham, Xuan Dai Pham, " Finger Extraction from Sce ne with Grayscale Morphology and BLOB Analysis", IEEE International Conference on Robotics and Biomimetics 이흥규, 디지털 영상처리 이론 및 구현 Visual C++ 접근 방법, 사이텍미디어, 파주시, 2007 Min Gyu Choi, "Introduction to Static/Dynamic Deformation with Mass-Spring System s KMMS, 28~29 May.2010, Cheong-ju Univ., “Interactive Contents development Using Motion Tracking and Physics”

54. THANK YOU Q / A