נתחיל בסגירת חוב...

Geometric vision Goal: Recovery of 3D structure – Structure and depth are inherently ambiguous from single views. מבוסס על השקפים של טל הסנר

Geometric vision Goal: Recovery of 3D structure – What cues in the image allow us to do this? Slide credit: Svetlana Lazebnik

Shading [Figure from Prados & Faugeras 2006]

Focus/defocus [figs from H. Jin and P. Favaro, 2002] Images from same point of view, different camera parameters 3d shape / depth estimates

Texture [From A.M. Loh. The recovery of 3-D structure using visual texture patterns. PhD thesis]A.M. Loh. The recovery of 3-D structure using visual texture patterns.

Perspective effects Image credit: S. Seitz

Motion Figures from L. Zhanghttp://

Estimating scene shape “Shape from X”: Shading, Texture, Focus, Motion… Stereo: – shape from “motion” between two views – infer 3d shape of scene from two (multiple) images from different viewpoints scene point optical center image plane Main idea:

Geometry for a Simple Stereo System First, assuming parallel optical axes, known camera parameters (i.e., calibrated cameras): 11 B. Leibe Slide credit: Kristen Grauman

12 B. Leibe baseline optical center (left) optical Center (right) Focal length World point Depth of p image point (left) image point (right) Slide credit: Kristen Grauman

Geometry for a Simple Stereo System Assume parallel optical axes, known camera parameters (i.e., calibrated cameras). We can triangulate via: 13 B. Leibe Similar triangles (p l, P, p r ) and (O l, P, O r ): disparity Slide credit: Kristen Grauman

Disparity ועומק מצלמות הבדל במיקומי הנקודה בתמונות ( disparity ) מרחק מהמצלמות ( depth ) disparity

Depth From Disparity 15 B. Leibe Image I(x,y)Image I´(x´,y´)Disparity map D(x,y) (x´,y´)=(x+D(x,y), y)

General Case With Calibrated Cameras The two cameras need not have parallel optical axes. 16 B. Leibe vs. Slide credit: Kristen Grauman, Steve Seitz

Stereo Correspondence Constraints Given p in the left image, where can the corresponding point p’ in the right image be? 17 B. Leibe Slide credit: Kristen Grauman

Stereo Correspondence Constraints Given p in the left image, where can the corresponding point p’ in the right image be? 18 B. Leibe Slide credit: Kristen Grauman

Stereo Correspondence Constraints 19 B. Leibe Slide credit: Kristen Grauman

Stereo Correspondence Constraints Geometry of two views allows us to constrain where the corresponding pixel for some image point in the first view must occur in the second view. Epipolar constraint: Why is this useful? – Reduces correspondence problem to 1D search along conjugate epipolar lines. 20 B. Leibe epipolar plane epipolar line Slide adapted from Steve Seitz

Epipolar Geometry 21 Epipolar Plane Epipoles Epipolar Lines Baseline Slide adapted from Marc Pollefeys

Epipolar Geometry: Terms Baseline: line joining the camera centers Epipole: point of intersection of baseline with the image plane Epipolar plane: plane containing baseline and world point Epipolar line: intersection of epipolar plane with the image plane All epipolar lines intersect at the epipole. An epipolar plane intersects the left and right image planes in epipolar lines. 22 B. Leibe Slide credit: Marc Pollefeys

Example 23 B. Leibe Slide credit: Kristen Grauman

For a given stereo rig, how do we express the epipolar constraints algebraically? 24 B. Leibe

בניית המטריצה ההכרחית נגדיר עבור מטריצת סיבוב R, הקשר בין מיקום P במערכת הקואורדינטות השמאלית לימנית הוא :

Rotation Matrix Express 3d rotation as series of rotations around coordinate axes by angles Overall rotation is product of these elementary rotations: Slide credit: Kristen Grauman

בניית המטריצה ההכרחית שלושת הוקטורים, ו - נמצאים על אותו המישור : המישור האפיפולרי

Cross Product & Dot Product Vector cross product takes two vectors and returns a third vector that’s perpendicular to both inputs. So here, c is perpendicular to both a and b, which means the dot product = 0. Slide credit: Kristen Grauman

בניית המטריצה ההכרחית שלושת הוקטורים, ו - נמצאים על אותו המישור : המישור האפיפולרי הוא וקטור הניצב למישור מכאן : היות ו - אזי : נציב במשואה ונקבל :

Matrix Form of Cross Product 30 Slide credit: Kristen Grauman

בניית המטריצה ההכרחית נשכתב באמצעות כפל מטריצות – – נגדיר –ונקבל : המטריצה E נקראת המטריצה ההכרחית (Essential Matrix)

המטריצה ההכרחית היות ונקודות במישורי התמונות נתונות בקואורדינטות הומ ', נחליף P ב - p ( שכן זהות עד לכדי כפל בקבוע) הוא ישר במישור התמונה הימנית אשר מובטח כי מכיל את הנקודה E שימושית כאשר נתונות לנו קואורדינטות נקודות במישור התמונה. לנו יש קואורדינטות פיקסלים בתמונה...

Essential Matrix Example: Parallel Cameras d 0 –d 0 For the parallel cameras, image of any point must lie on same horizontal line in each image plane. Slide credit: Kristen Grauman

Essential Matrix Example: Parallel Cameras d 0 –d 0 For the parallel cameras, image of any point must lie on same horizontal line in each image plane. Slide credit: Kristen Grauman

המטריצה היסודית מטריצה היסודית Fundamental Matrix F דומה באופייה למטריצה היסודית אך הפעם ו - בקואורדינטות פיקסלים עבור ו - מטריצות פנימיות של שתי המצלמות חישוב המטריצה היסודית באמצעות " אלג ' שמונה הנקודות "

Fundamental matrix Relates pixel coordinates in the two views More general form than essential matrix: we remove need to know intrinsic parameters If we estimate fundamental matrix from correspondences in pixel coordinates, can reconstruct epipolar geometry without intrinsic or extrinsic parameters Grauman

Computing F from correspondences Cameras are uncalibrated: we don’t know E or left or right M int matrices Estimate F from 8+ point correspondences. Grauman

Computing F from correspondences Each point correspondence generates one constraint on F Grauman We can re-write as:

כיול מערכת סטראו So, where to start with uncalibrated cameras? Need to find fundamental matrix F and the correspondences (pairs of points (u’,v’) ↔ (u,v)). 1) Find interest points in image 2) Compute correspondences 3) Compute epipolar geometry 4) Refine Example from Andrew Zisserman

1) Find interest points Stereo pipeline with weak calibration Grauman

2) Match points only using proximity Stereo pipeline with weak calibration Grauman

Putative matches based on correlation search Grauman

עעעעעעעעעעעעע עעעעעעעעעעעעע עעעעעעעעעעעעע עעעעעעעעע

RANSAC for robust estimation of the fundamental matrix Select random sample of correspondences Compute F using them – This determines epipolar constraint Evaluate amount of support – inliers within threshold distance of epipolar line Choose F with most support (inliers) Grauman

Putative matches based on correlation search Grauman

Pruned matches Correspondences consistent with epipolar geometry Grauman

Resulting epipolar geometry Grauman

אז מה ראינו היום ?

סיכום אנטומיה של מערכת סטראו גיאומטריה אפיפולרית –האפיפול, הישר האפיפולרי, המישור האפיפולרי המטריצה ההכרחית, היסודית וכיול מע ' סטראו

לסיכום : שיר המטריצה יסודית ! The Fundamental Matrix Song

מקורות שקפים מלבד כל שצוין, שקפים רבים מבוססים על אלו של : – B. Leibe – K. Grauman – D. Low – S. Lazebnik – A. Torralba – T. Darrell