1. دکتر سعید شیری قیداری & فصل 4 کتاب
Perception
دکتر سعید شیری قیداری
& فصل 4 کتاب
Amirkabir University of Technology Computer Engineering & Information Technology Department

2. اجزای روبات هوشمند External World محیط خارجی Sensors Actuators حسگر
Perception
ادراک
Cognition
شناخت
Action
عمل
Sensors
حسگر
Actuators
عملگر
External World
محیط خارجی

3. اجزای روبات هوشمند Perception Cognition Action
حس کردن، ساخت مدلی از دنیای اطراف
Cognition
رفتارها، انتخاب عمل، طرح ریزی، یادگیری
همکاری بین چند روبات، کار تیمی
پاسخ به محیط، یادگیری چند عاملی
Action
حرکت، ناوبری، پرهیز از موانع

4. مقدمه
یکی از مهمترین وظایف هر سیستم خودکار دریافت دانش از محیطش میباشد.
اینکار از طریق بکار گیری سنسورهای مختلف و استخراج اطلاعات مفید از داده های اندازه گیری شده میباشد.
رنج وسیعی از سنسورها در روباتهای خودکار مورد استفاده قرار میگیرد. در این فصل سنسورهائی مورد توجه قرار خواهند گرفت که برای دریافت اطلاعات از محیط بکار میروند.

5. مثالی از یک روبات: AIBO توسط شرکت سونی در معرفی گردید
ERS ERS ERS ERS-311
May Oct Nov Sept.2001

6. مشخصات سخت افزاری 64-bit MIPS RISC CPU 32MB SDRAM
Memory Stick Media for AIBO
Built in Clock
PC Card Slot Type 2 (ERS-200 Series)
Sensors:
CMOS Camera, Stereo Microphone,
Temperature, Acceleration, Pressure,
Vibration, IR Distance
20 DOF on Legs, Tail, Head, Mouth & Ears

7. درجات آزادی

10. مشخصات نرم افزاری AIBO AIBO-ware PC Applications for AIBO Development
R-CODE
OPEN-R SDK
Aperios / OPEN-R

11. کارهائی که AIBOانجام میدهد
Instincts
Love, curiosity, movement, hunger & sleep
Expressing Emotions
Happiness, sadness, anger, surprise, fear
and dislike
Tonal language, motions, LED
Learning
Voice(Tonal language) recognition
Mimic, Humming, Sing a song
Object tracking & Face recognition
Take pictures

12. کارهائی که AIBOانجام میدهد
میتوان آنرا از نوزادی به کودکی، نوجوانی و بزرگسالی بزرگ کرد.
در صورت تعامل با آن دوره بلوغ آن کوتاهتر میشود.
می توان عملیات مختلفی را به آن یاد داد
میتوان اسمی برای آن انتخاب کرد
میتواند اسم شما را یاد بگیرد.
75 فرمان صوتی را تشخیص میدهد
رفتاهای اجتماعی دارد

13. کارهائی که AIBOانجام میدهد
دارای چند بازی از پیش ذخیره شده است
موسیقی پخش کرده و میرقصد
میتواند مالکش را تشخیص دهد
میتواند محل شارژر باتری را تشخیص داده و خودش را شارژ کند
قادر به گرفتن عکس است.
نرم افزارهای متعددی برایPC دارد که قابلیت های دیگری به آن اضافه میکنند.

14. برنامه نویسی برای AIBO Programming AIBO:R-CODE Features
Similar to BASIC
Control statements
Subroutines
Variables (16-bit integers)
System variables support sensor data
Addition/Subtraction
Stacks

15. برنامه نویسی برای AIBO Programming AIBO:OPEN-R Features
OO designed OPEN-R API of system
layer
Full control of joints & displays
Full access to sensors
Image data, wave formatted sound data
Network supports
High level functions are not supported.
Gait, Voice & Object Recognition, MIDI

16. یک سناریوی هوشمند برای AIBO
‘AIBO, come here!’
Owner: ‘AIBO, come here!’
AIBO: Tries to find where its owner is.
‘Where are you?’
Owner: ‘At the kitchen.’
AIBO: Finds the way to the kitchen.
Required Functions
Map Construction
Way finding (Search)
BFS, DFS, IDS
Recognizing the door

17. مثالی از روبات

18. مثالی از روبات

19. دسته بندی سنسورها

20. دسته بندی سنسورها داخلی: خارجی: Passive: Active:
اطلاعاتی را از داخل روبات اندازه گیری میکنند. مثل: سرعت موتور، زاویه مفصل ها، ولتاژ باتری وغیره
خارجی:
اطلاعاتی را از محیط روبات جمع آوری میکنند: اندازه گیری مسافت، شدت نور، دامنه صدا
Passive:
سنسور انرژی را از محیط دریافت میکند مثل سنسور حرارتی، CCD ، و میکروفن
Active:
انرژی را به محیط فرستاده وعکس العمل محیط در مقابل آنرا اندازه گیری میکند.

23. اندازه گیری کارائی سنسورها
Dynamic Range
عبارت است از دامنه حد بالا و پائین مقادیر ورودی به سنسور به نحویکه سنسور قادر به عملکرد عادی خود باشد.
DR= Maximum Input/Minimum Input
معمولا بر حسب دسیبل بیان میشود.

24. اندازه گیری کارائی سنسورها
Range :حد بالای مقادیر ورودی به سنسور
Resolution:
حداقل اختلاف بین دو مقداری که توسط سنسور قابل دریافت است
Linearity
نحوه رفتار خروجی یک سنسور نسبت به تغییرات سیگنال ورودی را مشخص میکند
یک رفتار خطی با رابطه زیر مشخص میشود.
F(ax+by)= aF(x)+ bF(y)

25. اندازه گیری کارائی سنسورها
Bandwidth or Frequency
برای اندازه گیری سرعت یک سنسور در آماده کردن دنباله ای از خروجی ها بکار میرود. بعبارت دیگر تعداد اندازه گیری های سنسور در ثانیه را به فرکانس تعبیر میکنند.
Sensitivity
عبارت است از معیاری از میزان تغییرات جزئی در سیگنال ورودی که میتواند باعث تغییر در خروجی شود:
Output change / Input change

26. اندازه گیری کارائی سنسورها
Cross Sensitivity
عبارت است از حساسیت به پارامترهای محیطی که متعامد با سیگنال اصلی هستند.
یک قطب نما میتواند در جهت یابی روبات بر اساس میدان مغناطیسی زمین بسیار مفید باشد. اما این وسیله علاوه بر میدان مغناطیسی زمین به مصالح ساختمانی فلزی نیز حساسیت دارد. در نتیجه استفاده از آن برای روبات که در محیط اتاق حرکت میکند چندان مفید نخواهد بود.

27. اندازه گیری کارائی سنسورها

28. اندازه گیری کارائی سنسورها

29. اندازه گیری کارائی سنسورها

30. مشکلات کار در محیط واقعی
روبات متحرک باید وضعیت محیط اطرافش را درک کرده، آنالیز نموده و بنحو قابل استفاده ای بازگو نماید. آما اندازه گیری در محیط واقعی که همواره در معرض تغییر است کاری است مشکل و دارای خطا خواهد بود.
مثالی از تغییرات و خطاهای محیطی:
تغییرات شدت نور
جذب نور یا صدا توسط سطوح
انعکاس توسط سطوح
در نتیجه روبات همواره در معرض حساست تعامدی نسبت به موقعیت و دینامیک روبات و محیط خواهد بود.
مدل کردن خطاهای تصادفی کار سختی است
تعریف خطای سیستماتیک و تصادفی برای محیط های کنترل شده امکان پذیر است ولی برای روبات متحرک بسیار سخت است.

31. مدل کردن خطا

32. مکان یابی روبات در محیط
One of the most basic abilities for a mobile robot is that of localization, i.e. to be able to determine its own position in the environment.
روشهای مختلفی برای اینکار وجود دارد
Global Positioning System
Dead-reckoning localization
Triangulation Ranging
....

33. Dead-reckoning localization
این روش مبتنی بر استفاده از سنسورهای داخلی است و معمولا با استفاده از انکدرها و سایر سنسورها تغییرات موقعیت و جهت نسبت به فریم مرجع روبات اندازه گیری میشود.
معمولا فیدبکی از محیط دریافت نمیشود. لذا احتمال بروز خطا در این روش وجود دارد.
روشی ساده وسریع است.
معمولا در ترکیب با سایر روشها استفاده میشود.

34. Dead-reckoning localization

36. Dead-Reckoning Accumulated error can be
(x+∆x, y+∆y, β) β
(x, y, α) α
Accumulated error can be
quite big for a period of time.
(0,0)
Dead-Reckoning

37. Dead-Reckoning A robot’s path as obtained by its odometry,
relative to a given map.

38. انکدر چرخ و موتور

39. انکدر چرخ و موتور

40. سنسور جهت
سنسور جهت میتواند داخلی باشد مثل ژایروسکوپ یا خارجی مثل قطب نما
برای اندازه گیری مقدار چرخش روبات استفاده میشود.
در صورت داشتن اطلاعات سرعت میتوان با انتگرال گیری تخمینی از وقعیت را بدست آورد.
این فرایند را dead reckoning میگیوند.
Dead reckoning is the process of estimating one's current position based upon a previously determined position, or fix, and advancing that position based upon known speed, elapsed time, and course.

41. قطب نما

42. ژیرسکوپ

43. Ground-Based Active and Passive Beacons

44. Introduction to GPS What is GPS
The Global Positioning System (GPS) is a worldwide radio-navigation system formed from a constellation of 24 satellites and their ground stations
GPS receivers use these satellites as reference points to calculate positions and time
Originally known as Navigation System with Timing And Ranging (NAVSTAR)

45. Global Positioning System (GPS)

46. Global Positioning System (GPS)

47. Global Positioning System (GPS)

48. GPS Error Budget Source Uncorrected Error Level Ionosphere 0-30 meters
Troposphere 0-30 meters
Measurement Noise 0-10 meters
Ephemeris Data 1-5 meters
Clock Drift meters
Multipath 0-1 meter
Selective Availability 0-70 meters

49. سنسور های فاصله

50. سنسورهای فاصله

51. سنسور اولتراسونیک

52. سنسور اولتراسونیک

53. سنسور اولتراسونیک

54. سنسور اولتراسونیک

55. سنسور اولتراسونیک

56. Ultrasonic Sonar Sensor

57. اندازه گیری فاصله با استفاده از لیزر
استفاده از لیزر برای اندازه گیری فاصله برتری های زیادی نسبت به استفاده از صوت دارد.
یک باریکه نور لیزری بر روی سطح مورد نظر تابانده شده و بازتاب آن توسط آشکار ساز نوری تشخیص داده میشود.
فاصله از روی زمان لازم برای رفت و برگشت نور تخمین زده میشود.
با استفاده از یک سیستم مکانیکی که شامل آینه و موتور است میتوان محیط را بصورت 2 و یا 3 بعدی جاروب کرده ونقشه محیط را ترسیم نمود.

58. اندازه گیری فاصله با استفاده از لیزر
Pulsed laser
در این روش همانند اولتراسونیک یک بسته نوری به سمت هدف ارسال شده و زمان رفت و برگشت محاسبه میشود. اینکار نیازمند آن خواهد بود تا زمان با دقت PS اندازه گیری شود.
Phase Shift
در این روش اختلاف فاز بین نور ارسالی و برگشتی اندازه گیری میشود. اجرای عملی این روش ساده تر است.

59. اندازه گیری فاصله با استفاده از لیزر
Phase Shift Measurement

60. اندازه گیری فاصله با استفاده از لیزر

61. اندازه گیری فاصله با استفاده از لیزر

62. اندازه گیری فاصله با استفاده از لیزر

63. اندازه گیری فاصله با استفاده از لیزر
رزلوشن زاویه ای 0.5 درجه
رزلوشن عمق در حدود 5 سانتیمتر
و رنج قابل اندازه گیری بین 5cm , 20 m است
5 اسکن 180 درجه در ثانیه انجام میدهد.

64. اندازه گیری فاصله با استفاده از لیزر
مشکلات
قادر به تشخیص اشیا شفاف مثل شیشه نیست
برگشت نور ازاشیا صیقلی باعث عدم دریافت نور توسط گیرنده و در نتیجه عدم تشخیص فاصله میگردد.

65. Triangulation Ranging
در این روشها با استفاده از خواص هندسی به اندازه گیری فاصله میپردازند
معمولا یک پترن نوری به محیط فرستاده شده و انعکاس آن توسط گیرنده ای دریافت میشود و با داشتن اطلاعات هندسی مشخص فاصله اندازه گیری میشود.

66. Triangulation Ranging
Sensors based on this principle are used in range sensing up to 1 or 2 m, but also in high-precision industrial measurements with resolutions far below 1 μm.

67. Triangulation Ranging

68. Triangulation Ranging

69. Triangulation Ranging

70. سنسورهای سرعت و حرکت
سنسورهائی وجود دارند که میتوانند مستقیما حرکت نسبی بین روبات و محیط را اندازه بگیرند.
برای روباتهائی که در بزرگراه ها حرکت میکنند استفاده از سنسورهای Doppler تنها راه تشخیص اشیا میباشد.
در این سیستمها از هر دو امواج صوتی و الکترومغناطیسی استفاده میشود.

71. سنسورهای سرعت و حرکت

72. شتاب سنج

73. اندازه گیری فاصله با استفاده از شتاب

74. اندازه گیری جهت

78. اندازه گیری فاصله با استفاده از سنسور بینائی
بینائی قویترین حس آدمی است
بینائی پیچیده ترین حس آدمی نیز بشمار میرود.
هنگامی که توسط یک دوربین از یک شیئ سه بعدی تصویر برداری میشود، اطلاعات بعد سوم یعنی عمق یا فاصله شیئ بصورت دو بعدی تصویر خواهد شد.
استخراج اطلاعات بعد سوم از یک تصویر دو بعدی کار ساده ای نیست.
از روشهائی نظیر بینائی استریو، triangulation و یا روشهای مبتنی بر فوکاس میتوان برای بدست آوردن اطلاعات بعد سوم استفاده نمود.

79. سنسورهای بینائی

80. Vision Sensors
CCD (light-sensitive, discharging capacitors of 5 to 25 micron )
CMOS (Complementary Metal Oxide Semiconductor technology )

81. Visual Range Sensors
اگر اطلاعاتی در مورد اندازه اشیا وجود داشته باشد امکان اندازه گیری فاصله از روی اندازه وجود خواهد داشت ولی معمولا چنین نیست.
راه حل کلی استفاه از چندین تصویر مختلف است تا اطلاعات اضافی مورد نیاز بدست آید.
دو روش مختلف:
Depth from focus/defocus از اختلاف پارامترهای دوربین ها استفاده میکند.
Stereo vision از اختلاف دید دوربین ها استفاده میکند.

82. اندازه گیری فاصله از طریق فوکاس/دی فوکاس
ایده اصلی در این روش استخراج فاصله از طریق اندازه گیری پارامترهای دوربین است.
در این روش برای حل مسئله اندازه گیری عمق تصویردو و یا چند تصویر از صحنه گرفته میشود. اختلاف تصاویر در فاصله کانونی و یا فاصله صفحه تصویر میباشد.

83. اندازه گیری فاصله از طریق فوکاس

84. اندازه گیری فاصله از طریق فوکاس

85. اندازه گیری Sharpness

86. Depth from defocus
در این روش از یک صحنه دو و یا چند تصویر با پارامترهای مختلف دوربین گرفته میشود.
اطلاعات مربوط به فاصله از تصویر سه بعدی حاصل استخراج میشود.

87. تصویر فوکاس شده
اگر یک شی در مقابل دوربین Pineholeقرار گرفته باشد، تصویر فوکاس شده یک نقطه x,yاز تصویرآن با F(x,y) نشان داده شده و برابر است با شدت نوری که از آن نقطه به تصویر میرسد.
تابع point spread function بصورت زیر تعریف میشود:
مقدار نور تابش شده از نقطه P شی در تصویر فوکاس شده که در تصویر بدون فوکاس دخالت میکند.

88. Point Spread Function
با فرض اینکه blur circle دارای شدت نور یکنواختی است این تابع بصورت زیر تعریف میشود:

89. Best reported result is 1
Best reported result is 1.3% RMS error in terms of distance from the camera when the target is about 0.9 m away .
The key problems are the measurement of difference of blurring amount and the calibration of the mapping between depth and the difference of blurring.

90. Stereo Vision

91. Stereo Vision فاصله نسبت معکوس با disparity دارد
اشیا نزدیکتر را با دقت بیشتری میتوان اندازه گرفت
مقدار disparity با b رابطه مستقیم دارد
برای یک مقدار خطای disparity ثابت دقت اندازه گیری عمق با افزایش b بیشتر خواهد شد.
اما این امکان وجود دارد که با افزایش b برخی اشیا فقط در یک تصویر دیده شوند.
نقطه ای که در هر دو تصویر قابل رویت باشد، تشکیل یک زوج conjugate در تصاویر حاصله خواهد داد که با دانستن محل یکی میتوانیم در خطی با نام epipolar بدنبال دیگری بگردیم. در مثال شکل قبل این خط موازی محور x است.

92. Stereo Vision – the general case
در حالت کلی ممکن است فرض موازی بودن محور اپتیکی دو دوربین صحیح نباشد.
مقادیر ماتریس دوران از طریق کالیبراسیون بدست میاید.
We have 12 unknowns and require 12 equations:
we require 4 conjugate points for a complete calibration.
Note: Additionally there is a optical distortion of the image

93. سوال اساسی نقاط مزدوج در دو تصویر را چگونه میتوان پیدا کرد؟
How do we solve the correspondence problem?
روش Zero Crossing of Laplacian of Gaussian
یکی از تکنیک های متداول برای یافتن نقاط مزدوج میباشد.

94. Zero Crossing of Laplacian of Gaussian
روشی است برای یافتن نقاطی در تصاویر سمت راست و چپ که پایدار بوده و بخوبی با هم انطباق پیدا میکنند.
این روش در نرم افزار و سخت افزار پیاده شده است.
هسته این روش را لاپلاسین تصویر تشکیل میدهد:

95. Zero Crossing of Laplacian of Gaussian
برای اینکه بتوان رابطه فوق را برای یک تصویر دیجیتال محاسبه نمود آنرا با یک کانولوشن تقریب میزنند:
kernel

96. مثال
Step / Edge Detection in Noisy Image

97. حذف نویز
برای کاهش اثر نویز ابتدا با استفاده از اپراتور گاوسی روی تصویر هموار سازی بعمل میاید.
filtering through Gaussian smoothing

98. مثال
left images
right images
اعمال لاپلاسین بر روی تصویر هموار شده باعث بوجود آمدن spike مثبت و منفی در محل لبه ها خواهد شد.
edge filtered
b1 and b2: vertical edge filtered
left and right image;
filter = [ ]
c: confidence image:
bright = high confidence (good texture)
d: depth image:
bright = close; dark = far
confidence image
depth image

99. Zero Crossing of Laplacian of Gaussian
یک ویژگی بسیار موثر برای برای پیدا کردن correspondence بین تصاویر راست و چپ میتواند zero crossing لاپلاسین تصویر هموار شده باشد LoG
Zero crossing دارای عرضی برابر با یک پیکسل است و بخوبی در تصاویر قابل محاسبه است.

100. Color Tracking Sensors
Motion estimation of ball and robot for soccer playing using color tracking

101. Representing Colors in an RGB Image

102. How do We Segment a “Single” Color?
We need to model it mathematically a priori

103. Simple RGB Color Segmentation

104. Grouping, Clustering: Assigning Features to Features