1. Specific Object Recognition using SIFT
گروه بینایی ماشین و پردازش تصویر
Machine Vision and Image Processing Group (Student Group)
Electronic Research Center of Iran University of Science and Technology
Specific Object Recognition using SIFT
Presentation by:
Amir Azizi
آبان 1389 November 2010

2. Example for specific object recognition:
Introduction
Example for specific object recognition:
Search photos on web for the particular places
j. sivic

3. Introduction
Why is it difficult?
j. sivic

4. 1- Viewpoint
Challenges

5. 2- Illumination
Challenges

6. 3- Occlusion
Challenges

7. 4- Scale
Challenges

8. 5- Deformation
Challenges

9. 6- Background Clutter
Challenges

10. Local Features (Interest points or key points):
New
Local Features (Interest points or key points):
Corners
Blobs
Dataset
Some of applications:
Specific object recognition
Tracking
Image registration
Camera calibration ….

11. Desired Properties of local features:
Repeatability
- The same feature can be found in several images despite geometric and photometric transformation
Distinctiveness
- Each feature has a distinctive description
Locality
- A feature occupies a relatively small area of the image;
robust to clutter and occlusion
Quantity
- Number of features
Efficiency
- Applications that need to speed

12. Local feature-based object recognition
نیرومندی نسبت به موارد زیر:
تغییر نقطه دید
تغییر روشنایی
تغییر شکل و کجی
تغییر اندازه
انسداد
شلوغی و درهم برهمی
سرعت نیز اهمیت دارد
مراحل:
1- آشکارساز (Detector): استخراج نقاط کلیدی
2- توصیف کننده (Descriptor):
ساخت بردار ویژگی برای هر نقطه کلیدی
3- انطباق (Matching) انطباق بردارهای ویژگی با دیتاست

13. Local feature-based object recognition
توصیف کننده ها
آشکارسازها
Hessian-Laplace
Hessian-Affine
Shape Context
Geometric Blur
SIFT Descriptor
SURF Descriptor
Harris
Harris-Laplace
Harris-Affine
MSER
Salient Regions
SIFT Detector (DoG)
SURF Detector

14. SIFT: Scale Invariant Feature Transform
1999 and 2004

15. 𝐻= 𝐿 𝑥𝑥 (𝑥,𝑦,𝜎) 𝐿 𝑥𝑦 (𝑥,𝑦,𝜎) 𝐿 𝑥𝑦 (𝑥,𝑦,𝜎) 𝐿 𝑦𝑦 (𝑥,𝑦,𝜎)
Hessian Matrix
In mathematics, the Hessian matrix (or simply the Hessian) is the square matrix of second-order partial derivatives of a function; that is, it describes the local curvature of a function of many variables.
We want to find Blobs, so
SIFT uses extrema of Hessian matrix trace:
𝐻= 𝐿 𝑥𝑥 (𝑥,𝑦,𝜎) 𝐿 𝑥𝑦 (𝑥,𝑦,𝜎) 𝐿 𝑥𝑦 (𝑥,𝑦,𝜎) 𝐿 𝑦𝑦 (𝑥,𝑦,𝜎)
𝐿 𝑥𝑥 𝑥,𝑦,𝜎 = 𝜕 2 𝜕𝑥 2 𝑃
Laplacian=𝑇𝑟𝑎𝑐𝑒= 𝐿 𝑥𝑥 𝑥,𝑦,𝜎 + 𝐿 𝑦𝑦 (𝑥,𝑦,𝜎)

16. SCALE-SPACE 1- SIFT Detector
هدف: آشکارسازی مکان هایی که با تغییر اندازه تصویر ثابت بمانند.
1- Lindeberg ,1998
2- Koendernik 1984
SCALE-SPACE
𝐿 𝑥,𝑦,𝜎 =𝐺 𝑥,𝑦,𝜎 ∗𝑓(𝑥,𝑦)
Scale = σ

17. Laplacian=𝑇𝑟𝑎𝑐𝑒= 𝐿 𝑥𝑥 𝑥,𝑦,𝜎 + 𝐿 𝑦𝑦 (𝑥,𝑦,𝜎)
1- SIFT Detector
SCALE-SPACE
𝐻= 𝐿 𝑥𝑥 (𝑥,𝑦,𝜎) 𝐿 𝑥𝑦 (𝑥,𝑦,𝜎) 𝐿 𝑥𝑦 (𝑥,𝑦,𝜎) 𝐿 𝑦𝑦 (𝑥,𝑦,𝜎)
𝐿 𝑥,𝑦,𝜎 =𝐺 𝑥,𝑦,𝜎 ∗𝑓(𝑥,𝑦)
Laplacian=𝑇𝑟𝑎𝑐𝑒= 𝐿 𝑥𝑥 𝑥,𝑦,𝜎 + 𝐿 𝑦𝑦 (𝑥,𝑦,𝜎)
Laplacian=𝑇𝑟𝑎𝑐𝑒= (𝐺 𝑥𝑥 𝑥,𝑦,𝜎 + 𝐺 𝑦𝑦 (𝑥,𝑦,𝜎)) ∗𝑓(𝑥,𝑦)
𝐿𝑜𝐺= 𝛻 2 𝐺
𝐺 𝑥,𝑦,𝑘𝜎 −𝐺 𝑥,𝑦,𝜎 ≈(𝑘−1) 𝜎 2 𝛻 2 𝐺
DoG
Mikolajczyk 2002: normalized Laplacian gives more robust features

18. 1- SIFT Detector
ساخت هرم:
Down sampling

19. 1- SIFT Detector
آشکارسازی اکسترمم ها:

20. تعیین محل دقیق نقطه کلیدی:
1- SIFT Detector
تعیین محل دقیق نقطه کلیدی:

21. حذف نقاط کلیدی ناپایدار:
1- SIFT Detector
حذف نقاط کلیدی ناپایدار:
نقاط دارای کنتراست پایین
نقاطی که بطور ضعیفی روی لبه ها قرار گرفته اند

22. 2- SIFT Descriptor
تخصیص جهت به نقاط کلیدی

23. Rotation Invariance:
2- SIFT Descriptor

24. So we have a feature vector with 128 dimensions
2- SIFT Descriptor
4 ×4 ×8=128
So we have a feature vector with 128 dimensions

25. روش David Lowe برای انطباق
3- Matching
روش David Lowe برای انطباق
* ساخت درخت k-d دارای k بعد
* محاسبه تقریبی نزدیکترین همسایه اول و دوم به هر نقطه کلیدی در دیتا ست به کمک روش BBF
* نسبت نردیکترین همسایه اول به نزدیکترین همسایه دوم محاسبه می شود
* در انتها برای افزایش دقت شناسایی نسبت به تغییر شکل و استتار از تبدیل هاف نیز استفاده می شود.

26. با سپاس از توجه شما ؟