2. נתחיל בסגירת חוב...

3. Geometric vision Goal: Recovery of 3D structure – Structure and depth are inherently ambiguous from single views. מבוסס על השקפים של טל הסנר

4. Geometric vision Goal: Recovery of 3D structure – What cues in the image allow us to do this? Slide credit: Svetlana Lazebnik

5. Shading [Figure from Prados & Faugeras 2006]

6. Focus/defocus [figs from H. Jin and P. Favaro, 2002] Images from same point of view, different camera parameters 3d shape / depth estimates

7. Texture [From A.M. Loh. The recovery of 3-D structure using visual texture patterns. PhD thesis]A.M. Loh. The recovery of 3-D structure using visual texture patterns.

8. Perspective effects Image credit: S. Seitz

9. Motion Figures from L. Zhanghttp://www.brainconnection.com/teasers/?main=illusion/motion-shape

10. Estimating scene shape “Shape from X”: Shading, Texture, Focus, Motion… Stereo: – shape from “motion” between two views – infer 3d shape of scene from two (multiple) images from different viewpoints scene point optical center image plane Main idea:

11. Geometry for a Simple Stereo System First, assuming parallel optical axes, known camera parameters (i.e., calibrated cameras): 11 B. Leibe Slide credit: Kristen Grauman

12. 12 B. Leibe baseline optical center (left) optical Center (right) Focal length World point Depth of p image point (left) image point (right) Slide credit: Kristen Grauman

13. Geometry for a Simple Stereo System Assume parallel optical axes, known camera parameters (i.e., calibrated cameras). We can triangulate via: 13 B. Leibe Similar triangles (p l, P, p r ) and (O l, P, O r ): disparity Slide credit: Kristen Grauman

14. Disparity ועומק מצלמות הבדל במיקומי הנקודה בתמונות ( disparity ) מרחק מהמצלמות ( depth ) disparity

15. Depth From Disparity 15 B. Leibe Image I(x,y)Image I´(x´,y´)Disparity map D(x,y) (x´,y´)=(x+D(x,y), y)

16. General Case With Calibrated Cameras The two cameras need not have parallel optical axes. 16 B. Leibe vs. Slide credit: Kristen Grauman, Steve Seitz

17. Stereo Correspondence Constraints Given p in the left image, where can the corresponding point p’ in the right image be? 17 B. Leibe Slide credit: Kristen Grauman

18. Stereo Correspondence Constraints Given p in the left image, where can the corresponding point p’ in the right image be? 18 B. Leibe Slide credit: Kristen Grauman

19. Stereo Correspondence Constraints 19 B. Leibe Slide credit: Kristen Grauman

20. Stereo Correspondence Constraints Geometry of two views allows us to constrain where the corresponding pixel for some image point in the first view must occur in the second view. Epipolar constraint: Why is this useful? – Reduces correspondence problem to 1D search along conjugate epipolar lines. 20 B. Leibe epipolar plane epipolar line Slide adapted from Steve Seitz

21. Epipolar Geometry 21 Epipolar Plane Epipoles Epipolar Lines Baseline Slide adapted from Marc Pollefeys

22. Epipolar Geometry: Terms Baseline: line joining the camera centers Epipole: point of intersection of baseline with the image plane Epipolar plane: plane containing baseline and world point Epipolar line: intersection of epipolar plane with the image plane All epipolar lines intersect at the epipole. An epipolar plane intersects the left and right image planes in epipolar lines. 22 B. Leibe Slide credit: Marc Pollefeys

23. Example 23 B. Leibe Slide credit: Kristen Grauman

24. For a given stereo rig, how do we express the epipolar constraints algebraically? 24 B. Leibe

25. בניית המטריצה ההכרחית נגדיר עבור מטריצת סיבוב R, הקשר בין מיקום P במערכת הקואורדינטות השמאלית לימנית הוא :

26. Rotation Matrix Express 3d rotation as series of rotations around coordinate axes by angles Overall rotation is product of these elementary rotations: Slide credit: Kristen Grauman

27. בניית המטריצה ההכרחית שלושת הוקטורים, ו - נמצאים על אותו המישור : המישור האפיפולרי

28. Cross Product & Dot Product Vector cross product takes two vectors and returns a third vector that’s perpendicular to both inputs. So here, c is perpendicular to both a and b, which means the dot product = 0. Slide credit: Kristen Grauman

29. בניית המטריצה ההכרחית שלושת הוקטורים, ו - נמצאים על אותו המישור : המישור האפיפולרי הוא וקטור הניצב למישור מכאן : היות ו - אזי : נציב במשואה ונקבל :

30. Matrix Form of Cross Product 30 Slide credit: Kristen Grauman

31. בניית המטריצה ההכרחית נשכתב באמצעות כפל מטריצות – – נגדיר –ונקבל : המטריצה E נקראת המטריצה ההכרחית (Essential Matrix)

32. המטריצה ההכרחית היות ונקודות במישורי התמונות נתונות בקואורדינטות הומ ', נחליף P ב - p ( שכן זהות עד לכדי כפל בקבוע) הוא ישר במישור התמונה הימנית אשר מובטח כי מכיל את הנקודה E שימושית כאשר נתונות לנו קואורדינטות נקודות במישור התמונה. לנו יש קואורדינטות פיקסלים בתמונה...

33. Essential Matrix Example: Parallel Cameras 0 0 0 0 0 d 0 –d 0 For the parallel cameras, image of any point must lie on same horizontal line in each image plane. Slide credit: Kristen Grauman

34. Essential Matrix Example: Parallel Cameras 0 0 0 0 0 d 0 –d 0 For the parallel cameras, image of any point must lie on same horizontal line in each image plane. Slide credit: Kristen Grauman

35. המטריצה היסודית מטריצה היסודית Fundamental Matrix F דומה באופייה למטריצה היסודית אך הפעם ו - בקואורדינטות פיקסלים עבור ו - מטריצות פנימיות של שתי המצלמות חישוב המטריצה היסודית באמצעות " אלג ' שמונה הנקודות "

36. Fundamental matrix Relates pixel coordinates in the two views More general form than essential matrix: we remove need to know intrinsic parameters If we estimate fundamental matrix from correspondences in pixel coordinates, can reconstruct epipolar geometry without intrinsic or extrinsic parameters Grauman

37. Computing F from correspondences Cameras are uncalibrated: we don’t know E or left or right M int matrices Estimate F from 8+ point correspondences. Grauman

38. Computing F from correspondences Each point correspondence generates one constraint on F Grauman We can re-write as:

40. כיול מערכת סטראו So, where to start with uncalibrated cameras? Need to find fundamental matrix F and the correspondences (pairs of points (u’,v’) ↔ (u,v)). 1) Find interest points in image 2) Compute correspondences 3) Compute epipolar geometry 4) Refine Example from Andrew Zisserman

41. 1) Find interest points Stereo pipeline with weak calibration Grauman

42. 2) Match points only using proximity Stereo pipeline with weak calibration Grauman

43. Putative matches based on correlation search Grauman

45. עעעעעעעעעעעעע עעעעעעעעעעעעע עעעעעעעעעעעעע עעעעעעעעע

57. RANSAC for robust estimation of the fundamental matrix Select random sample of correspondences Compute F using them – This determines epipolar constraint Evaluate amount of support – inliers within threshold distance of epipolar line Choose F with most support (inliers) Grauman

58. Putative matches based on correlation search Grauman

59. Pruned matches Correspondences consistent with epipolar geometry Grauman

60. Resulting epipolar geometry Grauman

61. אז מה ראינו היום ?

62. סיכום אנטומיה של מערכת סטראו גיאומטריה אפיפולרית –האפיפול, הישר האפיפולרי, המישור האפיפולרי המטריצה ההכרחית, היסודית וכיול מע ' סטראו

63. לסיכום : שיר המטריצה יסודית ! The Fundamental Matrix Song

64. מקורות שקפים מלבד כל שצוין, שקפים רבים מבוססים על אלו של : – B. Leibe – K. Grauman – D. Low – S. Lazebnik – A. Torralba – T. Darrell