1. دکتر سعید شیری قیداری & فصل 4 کتاب
Perception
دکتر سعید شیری قیداری
& فصل 4 کتاب
Amirkabir University of Technology Computer Engineering & Information Technology Department

2. مقدمه
یکی از مهمترین وظایف هر سیستم خودکار دریافت دانش از محیطش میباشد.
اینکار از طریق بکار گیری سنسورهای مختلف و استخراج اطلاعات مفید از داده های اندازه گیری شده میباشد.
رنج وسیعی از سنسورها در روباتهای خودکار مورد استفاده قرار میگیرد. در این فصل سنسورهائی مورد توجه قرار خواهند گرفت که برای دریافت اطلاعات از محیط بکار میروند.

3. مثالی از روبات

4. مثالی از روبات

5. دسته بندی سنسورها

6. دسته بندی سنسورها داخلی: خارجی: Passive: Active:
اطلاعاتی را از داخل روبات اندازه گیری میکنند. مثل: سرعت موتور، زاویه مفصل ها، ولتاژ باتری وغیره
خارجی:
اطلاعاتی را از محیط روبات جمع آوری میکنند: اندازه گیری مسافت، شدت نور، دامنه صدا
Passive:
سنسور انرژی را از محیط دریافت میکند مثل سنسور حرارتی، CCD ، و میکروفن
Active:
انرژی را به محیط فرستاده وعکس العمل محیط در مقابل آنرا اندازه گیری میکند.

9. اندازه گیری کارائی سنسورها

10. اندازه گیری کارائی سنسورها
Dynamic Range
عبارت است از دامنه حد بالا و پائین مقادیر ورودی به سنسور به نحویکه سنسور قادر به عملکرد عادی خود باشد.
DR= Maximum Input/Minimum Input
معمولا بر حسب دسیبل بیان میشود.

11. اندازه گیری کارائی سنسورها
Resolution:
حداقل اختلاف بین دو مقداری که توسط سنسور قابل دریافت است
Linearity
نحوه رفتار خروجی یک سنسور نسبت به تغییرات سیگنال ورودی را مشخص میکند
یک رفتار خطی با رابطه زیر مشخص میشود.
F(ax+by)= aF(x)+ bF(y)

12. اندازه گیری کارائی سنسورها
Bandwidth or Frequency
برای اندازه گیری سرعت یک سنسور در آماده کردن دنباله ای از خروجی ها بکار میرود. بعبارت دیگر تعداد اندازه گیری های سنسور در ثانیه را به فرکانس تعبیر میکنند.
Sensitivity
عبارت است از معیاری از میزان تغییرات جزئی در سیگنال ورودی که میتواند باعث تغییر در خروجی شود:
Output change / Input change

13. اندازه گیری کارائی سنسورها
Cross Sensitivity
عبارت است از حسساسیت به پارامترهای محیطی که متعامد با سیگنال اصلی هستند
یک قطب نما میتواند در جهت یابی روبات بر اساس میدان مغناطیسی زمین بسیار مفید باشد. اما این وسیله علاوه بر میدان مغناطیسی زمین به مصالح ساختمانی فلزی نیز حساسیت دارد. در نتیجه استفاده از آن برای روباتب که در محیط اتاق حرکت میکند چندان مفید نخواهد بود.

14. اندازه گیری کارائی سنسورها

15. اندازه گیری کارائی سنسورها

16. اندازه گیری کارائی سنسورها

17. مشکلات کار در محیط واقعی

18. مدل کردن خطا

19. Dead-reckoning localization
این روش مبتنی بر استفاده از سنسورهای داخلی است و معمولا با استفاده از انکدرها و سایر سنسورها تغییرات موقعیت و جهت نسبت به فریم مرجع روبات اندازه گیری میشود.
معمولا فیدبکی از محیط دریافت نمیشود. لذا احتمال بروز خطا در این روش وجود دارد.
روشی ساده وسریع است.
معمولا در ترکیب با سایر روشها استفاده میشود.

20. Dead-Reckoning Accumulated error can be quite big for a period time. β
(x+∆x, y+∆y, β) β
(x, y, α) α
Accumulated error can be
quite big for a period time.
(0,0)
Dead-Reckoning

21. Dead-Reckoning A robot’s path as obtained by its odometry,
relative to a given map.
[ S. Thrun, Robotic Mapping: A Survey ]

22. انکدر چرخ و موتور

23. انکدر چرخ و موتور

24. سنسور جهت

25. قطب نما

26. ژیرسکوپ

27. Ground-Based Active and Passive Beacons

28. Introduction to GPS What is GPS
The Global Positioning System (GPS) is a worldwide radio-navigation system formed from a constellation of 24 satellites and their ground stations
GPS receivers use these satellites as reference points to calculate positions and time
Originally known as Navigation System with Timing And Ranging (NAVSTAR)

29. Global Positioning System (GPS)

30. Global Positioning System (GPS)

31. Global Positioning System (GPS)

32. GPS Error Budget Source Uncorrected Error Level Ionosphere 0-30 meters
Troposphere 0-30 meters
Measurement Noise 0-10 meters
Ephemeris Data 1-5 meters
Clock Drift meters
Multipath 0-1 meter
Selective Availability 0-70 meters

33. سنسور های فاصله

34. سنسورهای فاصله

35. سنسور اولتراسونیک

36. سنسور اولتراسونیک

37. سنسور اولتراسونیک

38. سنسور اولتراسونیک

39. سنسور اولتراسونیک

40. Ultrasonic Sonar Sensor

41. اندازه گیری فاصله با استفاده از لیزر
استفاده از لیزر برای اندازه گیری فاصله برتری های زیادی نسبت به استفاده از صوت دارد.
یک باریکه نور لیزری بر روی سطح مورد نظر تابانده شده و بازتاب آن توسط آشکار ساز نوری تشخیص داده میشود.
فاصله از روی زمان لازم برای رفت و برگشت نور تخمین زده میشود.
با استفاده از یک سیستم مکانیکی که شامل آینه و موتور است میتوان محیط را بصورت 2 و یا 3 بعدی جاروب کرده ونقشه محیط را ترسیم نمود.

42. اندازه گیری فاصله با استفاده از لیزر
Pulsed laser
در این روش همانند اولتراسونیک یک بسته نوری به سمت هدف ارسال شده و زمان رفت و برگشت محاسبه میشود. اینکار نیازمند آن خواهد بود تا زمان با دقت PS اندازه گیری شود.
Phase Shift
در این روش اختلاف فاز بین نور ارسالی و برگشتی اندازه گیری میشود. اجرای عملی این روش ساده تر است.

43. اندازه گیری فاصله با استفاده از لیزر
Phase Shift Measurement

44. اندازه گیری فاصله با استفاده از لیزر

45. اندازه گیری فاصله با استفاده از لیزر

46. اندازه گیری فاصله با استفاده از لیزر

47. اندازه گیری فاصله با استفاده از لیزر
رزلوشن زاویه ای 0.5 درجه
رزلوشن عمق در حدود 5 سانتیمتر
و رنج قابل اندازه گیری بین 5cm , 20 m است
5 اسکن 180 درجه در ثانیه انجام میدهد.

48. اندازه گیری فاصله با استفاده از لیزر
مشکلات
قادر به تشخیص اشیا شفاف مثل شیشه نیست
برگشت نور ازاشیا صیقلی باعث عدم دریافت نور توسط گیرنده و در نتیجه عدم تشخیص فاصله میگردد.

49. Triangulation Ranging
در این روشها با استفاده از خواص هندسی به اندازه گیری فاصله میپردازند
معمولا یک پترن نوری به محیط فرستاده شده و انعکاس آن توسط گیرنده ای دریافت میشود و با داشتن اطلاعات هندسی مشخص فاصله اندازه گیری میشود.

50. Triangulation Ranging

51. Triangulation Ranging

52. Triangulation Ranging

53. Triangulation Ranging

54. سنسورهای سرعت و حرکت
سنسورهائی وجود دارند که میتوانند مستقیما حرکت نسبی بین روبات و محیط را اندازه بگیرند.
برای روباتهائی که در بزرگراه ها حرکت میکنند استفاده از سنسورهای Doppler تنها راه تشخیص اشیا میباشد.
در این سیستمها از هر دو امواج صوتی و الکترومغناطیسی استفاده میشود.

55. سنسورهای سرعت و حرکت

56. شتاب سنج

57. اندازه گیری فاصله با استفاده از شتاب

58. اندازه گیری جهت

62. اندازه گیری فاصله با استفاده از سنسور بینائی
بینائی قویترین حس آدمی است
بینائی پیچیده ترین حس آدمی نیز بشمار میرود.
هنگامی که توسط یک دوربین از یک شیئ سه بعدی تصویر برداری میشود، اطلاعات بعد سوم یعنی عمق یا فاصله شیئ بصورت دو بعدی تصویر خواهد شد.
استخراج اطلاعات بعد سوم از یک تصویر دو بعدی کار ساده ای نیست.
از روشهائی نظیر بینائی استریو، triangulation و یا روشهای مبتنی بر فوکاس میتوان برای بدست آوردن اطلاعات بعد سوم استفاده نمود.

63. سنسورهای بینائی

64. Vision Sensors
CCD (light-sensitive, discharging capacitors of 5 to 25 micron )
CMOS (Complementary Metal Oxide Semiconductor technology )

65. Visual Range Sensors
اگر اطلاعاتی در مورد اندازه اشیا وجود داشته باشد امکان اندازه گیری فاصله از روی اندازه وجود خواهد داشت ولی معمولا چنین نیست.
راه حل کلی استفاه از چندین تصویر مختلف است تا اطلاعات اضافی مورد نیاز بدست آید.
دو روش مختلف:
Depth from focus/defocus از اختلاف پارامترهای دوربین ها استفاده میکند.
Stereo vision از اختلاف دید دوربین ها استفاده میکند.

66. اندازه گیری فاصله از طریق فوکاس/دی فوکاس
ایده اصلی در این روش استخراج فاصله از طریق اندازه گیری پارامترهای دوربین است.
در این روش برای حل مسئله اندازه گیری عمق تصویردو و یا چند تصویر از صحنه گرفته میشود. اختلاف تصاویر در فاصله کانونی و یا فاصله صفحه تصویر میباشد.

67. اندازه گیری فاصله از طریق فوکاس

68. اندازه گیری فاصله از طریق فوکاس

69. اندازه گیری Sharpness

70. Depth from defocus
در این روش از یک صحنه دو و یا چند تصویر با پارامترهای مختلف دوربین گرفته میشود.
اطلاعات مربوط به فاصله از تصویر سه بعدی حاصل استخراج میشود.

71. تصویر فوکاس شده
اگر یک شی در مقابل دوربین Pineholeقرار گرفته باشد، تصویر فوکاس شده یک نقطه x,yاز تصویرآن با F(x,y) نشان داده شده و برابر است با شدت نوری که از آن نقطه به تصویر میرسد.
تابع point spread function بصورت زیر تعریف میشود:
مقدار نور تابش شده از نقطه P شی در تصویر فوکاس شده که در تصویر بدون فوکاس دخالت میکند.

72. Point Spread Function
با فرض اینکه blur circle دارای شدت نور یکنواختی است این تابع بصورت زیر تعریف میشود:

73. Best reported result is 1
Best reported result is 1.3% RMS error in terms of distance from the camera when the target is about 0.9 m away .
The key problems are the measurement of difference of blurring amount and the calibration of the mapping between depth and the difference of blurring.

74. Stereo Vision

75. Stereo Vision فاصله نسبت معکوس با disparity دارد
اشیا نزدیکتر را با دقت بیشتری میتوان اندازه گرفت
مقدار disparity با b رابطه مستقیم دارد
برای یک مقدار خطای disparity ثابت دقت اندازه گیری عمق با افزایش b بیشتر خواهد شد.
اما این امکان وجود دارد که با افزایش b برخی اشیا فقط در یک تصویر دیده شوند.
نقطه ای که در هر دو تصویر قابل رویت باشد، تشکیل یک زوج conjugate در تصاویر حاصله خواهد داد که با دانستن محل یکی میتوانیم در خطی با نام epipolar بدنبال دیگیری بگردیم. در مثال شکل قبل این خط موازی محور x است.

76. Stereo Vision – the general case
در حالت کلی ممکن است فرض موازی بودن محور اپتیکی دو دوربین صحیح نباشد.
مقادیر ماتریس دوران از طریق کالیبراسیون بدست میاید.
We have 12 unknowns and require 12 equations:
we require 4 conjugate points for a complete calibration.
Note: Additionally there is a optical distortion of the image

77. سوال اساسی نقاط مزدوج در دو تصویر را چگونه میتوان پیدا کرد؟
How do we solve the correspondence problem?
روش Zero Crossing of Laplacian of Gaussian
یکی از تکنیک های متداول برای یافتن نقاط مزدوج میباشد.

78. Zero Crossing of Laplacian of Gaussian
روشی است برای یافتن نقاطی در تصاویر سمت راست و چپ که پایدار بوده و بخوبی با هم انطباق پیدا میکنند.
این روش در نرم افزار و سخت افزار پیاده شده است.
هسته این روش را لاپلاسین تصویر تشکیل میدهد:

79. Zero Crossing of Laplacian of Gaussian
برای اینکه بتوان رابطه فوق را برای یک تصویر دیجیتال محاسبه نمود آنرا با یک کانولوشن تقریب میزنند:
kernel

80. مثال
Step / Edge Detection in Noisy Image

81. حذف نویز
برای کاهش اثر نویز ابتدا با استفاده از اپراتور گاوسی روی تصویر هموار سازی بعمل میاید.
filtering through Gaussian smoothing

82. مثال
left images
right images
اعمال لاپلاسین بر روی تصویر هموار شده باعث بوجود آمدن spike مثبت و منفی در محل لبه ها خواهد شد.
edge filtered
b1 and b2: vertical edge filtered
left and right image;
filter = [ ]
c: confidence image:
bright = high confidence (good texture)
d: depth image:
bright = close; dark = far
confidence image
depth image

83. Zero Crossing of Laplacian of Gaussian
یک ویژگی بسیار موثر برای برای پیدا کردن correspondence بین تصاویر راست و چپ میتواند zero crossing لاپلاسین تصویر هموار شده باشد LoG
Zero crossing دارای عرضی برابر با یک پیکسل است و بخوبی در تصاویر قابل محاسبه است.

84. Color Tracking Sensors
Motion estimation of ball and robot for soccer playing using color tracking

85. Representing Colors in an RGB Image

86. How do We Segment a “Single” Color?
We need to model it mathematically a priori

87. Simple RGB Color Segmentation

88. Grouping, Clustering: Assigning Features to Features