Specific Object Recognition using SIFT گروه بینایی ماشین و پردازش تصویر Machine Vision and Image Processing Group (Student Group) Electronic Research Center of Iran University of Science and Technology http://mvip.iust.ac.ir Specific Object Recognition using SIFT Presentation by: Amir Azizi آبان 1389 November 2010

Example for specific object recognition: Introduction Example for specific object recognition: Search photos on web for the particular places j. sivic amir.s.azizi@gmail.com

Introduction Why is it difficult? j. sivic amir.s.azizi@gmail.com

1- Viewpoint Challenges amir.s.azizi@gmail.com

2- Illumination Challenges amir.s.azizi@gmail.com

3- Occlusion Challenges amir.s.azizi@gmail.com

4- Scale Challenges amir.s.azizi@gmail.com

5- Deformation Challenges amir.s.azizi@gmail.com

6- Background Clutter Challenges amir.s.azizi@gmail.com

Local Features (Interest points or key points): New Local Features (Interest points or key points): Corners Blobs Dataset Some of applications: Specific object recognition Tracking Image registration Camera calibration …. amir.s.azizi@gmail.com

Desired Properties of local features: Repeatability - The same feature can be found in several images despite geometric and photometric transformation Distinctiveness - Each feature has a distinctive description Locality - A feature occupies a relatively small area of the image; robust to clutter and occlusion Quantity - Number of features Efficiency - Applications that need to speed amir.s.azizi@gmail.com

Local feature-based object recognition نیرومندی نسبت به موارد زیر: تغییر نقطه دید تغییر روشنایی تغییر شکل و کجی تغییر اندازه انسداد شلوغی و درهم برهمی سرعت نیز اهمیت دارد مراحل: 1- آشکارساز (Detector): استخراج نقاط کلیدی 2- توصیف کننده (Descriptor): ساخت بردار ویژگی برای هر نقطه کلیدی 3- انطباق (Matching) انطباق بردارهای ویژگی با دیتاست amir.s.azizi@gmail.com

Local feature-based object recognition توصیف کننده ها آشکارسازها Hessian-Laplace Hessian-Affine Shape Context Geometric Blur SIFT Descriptor SURF Descriptor Harris Harris-Laplace Harris-Affine MSER Salient Regions SIFT Detector (DoG) SURF Detector amir.s.azizi@gmail.com

SIFT: Scale Invariant Feature Transform 1999 and 2004 amir.s.azizi@gmail.com

𝐻= 𝐿 𝑥𝑥 (𝑥,𝑦,𝜎) 𝐿 𝑥𝑦 (𝑥,𝑦,𝜎) 𝐿 𝑥𝑦 (𝑥,𝑦,𝜎) 𝐿 𝑦𝑦 (𝑥,𝑦,𝜎) Hessian Matrix In mathematics, the Hessian matrix (or simply the Hessian) is the square matrix of second-order partial derivatives of a function; that is, it describes the local curvature of a function of many variables. We want to find Blobs, so SIFT uses extrema of Hessian matrix trace: 𝐻= 𝐿 𝑥𝑥 (𝑥,𝑦,𝜎) 𝐿 𝑥𝑦 (𝑥,𝑦,𝜎) 𝐿 𝑥𝑦 (𝑥,𝑦,𝜎) 𝐿 𝑦𝑦 (𝑥,𝑦,𝜎) 𝐿 𝑥𝑥 𝑥,𝑦,𝜎 = 𝜕 2 𝜕𝑥 2 𝑃 Laplacian=𝑇𝑟𝑎𝑐𝑒= 𝐿 𝑥𝑥 𝑥,𝑦,𝜎 + 𝐿 𝑦𝑦 (𝑥,𝑦,𝜎) amir.s.azizi@gmail.com

SCALE-SPACE 1- SIFT Detector هدف: آشکارسازی مکان هایی که با تغییر اندازه تصویر ثابت بمانند. 1- Lindeberg 1994,1998 2- Koendernik 1984 SCALE-SPACE 𝐿 𝑥,𝑦,𝜎 =𝐺 𝑥,𝑦,𝜎 ∗𝑓(𝑥,𝑦) Scale = σ amir.s.azizi@gmail.com

Laplacian=𝑇𝑟𝑎𝑐𝑒= 𝐿 𝑥𝑥 𝑥,𝑦,𝜎 + 𝐿 𝑦𝑦 (𝑥,𝑦,𝜎) 1- SIFT Detector SCALE-SPACE 𝐻= 𝐿 𝑥𝑥 (𝑥,𝑦,𝜎) 𝐿 𝑥𝑦 (𝑥,𝑦,𝜎) 𝐿 𝑥𝑦 (𝑥,𝑦,𝜎) 𝐿 𝑦𝑦 (𝑥,𝑦,𝜎) 𝐿 𝑥,𝑦,𝜎 =𝐺 𝑥,𝑦,𝜎 ∗𝑓(𝑥,𝑦) Laplacian=𝑇𝑟𝑎𝑐𝑒= 𝐿 𝑥𝑥 𝑥,𝑦,𝜎 + 𝐿 𝑦𝑦 (𝑥,𝑦,𝜎) Laplacian=𝑇𝑟𝑎𝑐𝑒= (𝐺 𝑥𝑥 𝑥,𝑦,𝜎 + 𝐺 𝑦𝑦 (𝑥,𝑦,𝜎)) ∗𝑓(𝑥,𝑦) 𝐿𝑜𝐺= 𝛻 2 𝐺 𝐺 𝑥,𝑦,𝑘𝜎 −𝐺 𝑥,𝑦,𝜎 ≈(𝑘−1) 𝜎 2 𝛻 2 𝐺 DoG Mikolajczyk 2002: normalized Laplacian gives more robust features amir.s.azizi@gmail.com

1- SIFT Detector ساخت هرم: Down sampling amir.s.azizi@gmail.com

1- SIFT Detector آشکارسازی اکسترمم ها: amir.s.azizi@gmail.com

تعیین محل دقیق نقطه کلیدی: 1- SIFT Detector تعیین محل دقیق نقطه کلیدی: amir.s.azizi@gmail.com

حذف نقاط کلیدی ناپایدار: 1- SIFT Detector حذف نقاط کلیدی ناپایدار: نقاط دارای کنتراست پایین نقاطی که بطور ضعیفی روی لبه ها قرار گرفته اند amir.s.azizi@gmail.com

2- SIFT Descriptor تخصیص جهت به نقاط کلیدی amir.s.azizi@gmail.com

Rotation Invariance: 2- SIFT Descriptor amir.s.azizi@gmail.com

So we have a feature vector with 128 dimensions 2- SIFT Descriptor 4 ×4 ×8=128 So we have a feature vector with 128 dimensions amir.s.azizi@gmail.com

روش David Lowe برای انطباق 3- Matching روش David Lowe برای انطباق * ساخت درخت k-d دارای k بعد * محاسبه تقریبی نزدیکترین همسایه اول و دوم به هر نقطه کلیدی در دیتا ست به کمک روش BBF * نسبت نردیکترین همسایه اول به نزدیکترین همسایه دوم محاسبه می شود * در انتها برای افزایش دقت شناسایی نسبت به تغییر شکل و استتار از تبدیل هاف نیز استفاده می شود. amir.s.azizi@gmail.com

با سپاس از توجه شما ؟ amir.s.azizi@gmail.com