دکتر سعید شیری قیداری & فصل 4 کتاب Perception دکتر سعید شیری قیداری & فصل 4 کتاب Amirkabir University of Technology Computer Engineering & Information Technology Department

مقدمه یکی از مهمترین وظایف هر سیستم خودکار دریافت دانش از محیطش میباشد. اینکار از طریق بکار گیری سنسورهای مختلف و استخراج اطلاعات مفید از داده های اندازه گیری شده میباشد. رنج وسیعی از سنسورها در روباتهای خودکار مورد استفاده قرار میگیرد. در این فصل سنسورهائی مورد توجه قرار خواهند گرفت که برای دریافت اطلاعات از محیط بکار میروند.

مثالی از روبات

مثالی از روبات

دسته بندی سنسورها

دسته بندی سنسورها داخلی: خارجی: Passive: Active: اطلاعاتی را از داخل روبات اندازه گیری میکنند. مثل: سرعت موتور، زاویه مفصل ها، ولتاژ باتری وغیره خارجی: اطلاعاتی را از محیط روبات جمع آوری میکنند: اندازه گیری مسافت، شدت نور، دامنه صدا Passive: سنسور انرژی را از محیط دریافت میکند مثل سنسور حرارتی، CCD ، و میکروفن Active: انرژی را به محیط فرستاده وعکس العمل محیط در مقابل آنرا اندازه گیری میکند.

اندازه گیری کارائی سنسورها

اندازه گیری کارائی سنسورها Dynamic Range عبارت است از دامنه حد بالا و پائین مقادیر ورودی به سنسور به نحویکه سنسور قادر به عملکرد عادی خود باشد. DR= Maximum Input/Minimum Input معمولا بر حسب دسیبل بیان میشود.

اندازه گیری کارائی سنسورها Resolution: حداقل اختلاف بین دو مقداری که توسط سنسور قابل دریافت است Linearity نحوه رفتار خروجی یک سنسور نسبت به تغییرات سیگنال ورودی را مشخص میکند یک رفتار خطی با رابطه زیر مشخص میشود. F(ax+by)= aF(x)+ bF(y)

اندازه گیری کارائی سنسورها Bandwidth or Frequency برای اندازه گیری سرعت یک سنسور در آماده کردن دنباله ای از خروجی ها بکار میرود. بعبارت دیگر تعداد اندازه گیری های سنسور در ثانیه را به فرکانس تعبیر میکنند. Sensitivity عبارت است از معیاری از میزان تغییرات جزئی در سیگنال ورودی که میتواند باعث تغییر در خروجی شود: Output change / Input change

اندازه گیری کارائی سنسورها Cross Sensitivity عبارت است از حسساسیت به پارامترهای محیطی که متعامد با سیگنال اصلی هستند یک قطب نما میتواند در جهت یابی روبات بر اساس میدان مغناطیسی زمین بسیار مفید باشد. اما این وسیله علاوه بر میدان مغناطیسی زمین به مصالح ساختمانی فلزی نیز حساسیت دارد. در نتیجه استفاده از آن برای روباتب که در محیط اتاق حرکت میکند چندان مفید نخواهد بود.

اندازه گیری کارائی سنسورها

اندازه گیری کارائی سنسورها

اندازه گیری کارائی سنسورها

مشکلات کار در محیط واقعی

مدل کردن خطا

Dead-reckoning localization این روش مبتنی بر استفاده از سنسورهای داخلی است و معمولا با استفاده از انکدرها و سایر سنسورها تغییرات موقعیت و جهت نسبت به فریم مرجع روبات اندازه گیری میشود. معمولا فیدبکی از محیط دریافت نمیشود. لذا احتمال بروز خطا در این روش وجود دارد. روشی ساده وسریع است. معمولا در ترکیب با سایر روشها استفاده میشود.

Dead-Reckoning Accumulated error can be quite big for a period time. β (x+∆x, y+∆y, β) β (x, y, α) α Accumulated error can be quite big for a period time. (0,0) Dead-Reckoning

Dead-Reckoning A robot’s path as obtained by its odometry, relative to a given map. [ S. Thrun, Robotic Mapping: A Survey ]

انکدر چرخ و موتور

انکدر چرخ و موتور

سنسور جهت

قطب نما

ژیرسکوپ

Ground-Based Active and Passive Beacons

Introduction to GPS What is GPS The Global Positioning System (GPS) is a worldwide radio-navigation system formed from a constellation of 24 satellites and their ground stations GPS receivers use these satellites as reference points to calculate positions and time Originally known as Navigation System with Timing And Ranging (NAVSTAR)

Global Positioning System (GPS)

Global Positioning System (GPS)

Global Positioning System (GPS)

GPS Error Budget Source Uncorrected Error Level Ionosphere 0-30 meters Troposphere 0-30 meters Measurement Noise 0-10 meters Ephemeris Data 1-5 meters Clock Drift 0-1.5 meters Multipath 0-1 meter Selective Availability 0-70 meters

سنسور های فاصله

سنسورهای فاصله

سنسور اولتراسونیک

سنسور اولتراسونیک

سنسور اولتراسونیک

سنسور اولتراسونیک

سنسور اولتراسونیک

Ultrasonic Sonar Sensor

اندازه گیری فاصله با استفاده از لیزر استفاده از لیزر برای اندازه گیری فاصله برتری های زیادی نسبت به استفاده از صوت دارد. یک باریکه نور لیزری بر روی سطح مورد نظر تابانده شده و بازتاب آن توسط آشکار ساز نوری تشخیص داده میشود. فاصله از روی زمان لازم برای رفت و برگشت نور تخمین زده میشود. با استفاده از یک سیستم مکانیکی که شامل آینه و موتور است میتوان محیط را بصورت 2 و یا 3 بعدی جاروب کرده ونقشه محیط را ترسیم نمود.

اندازه گیری فاصله با استفاده از لیزر Pulsed laser در این روش همانند اولتراسونیک یک بسته نوری به سمت هدف ارسال شده و زمان رفت و برگشت محاسبه میشود. اینکار نیازمند آن خواهد بود تا زمان با دقت PS اندازه گیری شود. Phase Shift در این روش اختلاف فاز بین نور ارسالی و برگشتی اندازه گیری میشود. اجرای عملی این روش ساده تر است.

اندازه گیری فاصله با استفاده از لیزر Phase Shift Measurement

اندازه گیری فاصله با استفاده از لیزر

اندازه گیری فاصله با استفاده از لیزر

اندازه گیری فاصله با استفاده از لیزر

اندازه گیری فاصله با استفاده از لیزر رزلوشن زاویه ای 0.5 درجه رزلوشن عمق در حدود 5 سانتیمتر و رنج قابل اندازه گیری بین 5cm , 20 m است 5 اسکن 180 درجه در ثانیه انجام میدهد.

اندازه گیری فاصله با استفاده از لیزر مشکلات قادر به تشخیص اشیا شفاف مثل شیشه نیست برگشت نور ازاشیا صیقلی باعث عدم دریافت نور توسط گیرنده و در نتیجه عدم تشخیص فاصله میگردد.

Triangulation Ranging در این روشها با استفاده از خواص هندسی به اندازه گیری فاصله میپردازند معمولا یک پترن نوری به محیط فرستاده شده و انعکاس آن توسط گیرنده ای دریافت میشود و با داشتن اطلاعات هندسی مشخص فاصله اندازه گیری میشود.

Triangulation Ranging

Triangulation Ranging

Triangulation Ranging

Triangulation Ranging

سنسورهای سرعت و حرکت سنسورهائی وجود دارند که میتوانند مستقیما حرکت نسبی بین روبات و محیط را اندازه بگیرند. برای روباتهائی که در بزرگراه ها حرکت میکنند استفاده از سنسورهای Doppler تنها راه تشخیص اشیا میباشد. در این سیستمها از هر دو امواج صوتی و الکترومغناطیسی استفاده میشود.

سنسورهای سرعت و حرکت

شتاب سنج

اندازه گیری فاصله با استفاده از شتاب

اندازه گیری جهت

اندازه گیری فاصله با استفاده از سنسور بینائی بینائی قویترین حس آدمی است بینائی پیچیده ترین حس آدمی نیز بشمار میرود. هنگامی که توسط یک دوربین از یک شیئ سه بعدی تصویر برداری میشود، اطلاعات بعد سوم یعنی عمق یا فاصله شیئ بصورت دو بعدی تصویر خواهد شد. استخراج اطلاعات بعد سوم از یک تصویر دو بعدی کار ساده ای نیست. از روشهائی نظیر بینائی استریو، triangulation و یا روشهای مبتنی بر فوکاس میتوان برای بدست آوردن اطلاعات بعد سوم استفاده نمود.

سنسورهای بینائی

Vision Sensors CCD (light-sensitive, discharging capacitors of 5 to 25 micron ) CMOS (Complementary Metal Oxide Semiconductor technology )

Visual Range Sensors اگر اطلاعاتی در مورد اندازه اشیا وجود داشته باشد امکان اندازه گیری فاصله از روی اندازه وجود خواهد داشت ولی معمولا چنین نیست. راه حل کلی استفاه از چندین تصویر مختلف است تا اطلاعات اضافی مورد نیاز بدست آید. دو روش مختلف: Depth from focus/defocus از اختلاف پارامترهای دوربین ها استفاده میکند. Stereo vision از اختلاف دید دوربین ها استفاده میکند.

اندازه گیری فاصله از طریق فوکاس/دی فوکاس ایده اصلی در این روش استخراج فاصله از طریق اندازه گیری پارامترهای دوربین است. در این روش برای حل مسئله اندازه گیری عمق تصویردو و یا چند تصویر از صحنه گرفته میشود. اختلاف تصاویر در فاصله کانونی و یا فاصله صفحه تصویر میباشد.

اندازه گیری فاصله از طریق فوکاس

اندازه گیری فاصله از طریق فوکاس

اندازه گیری Sharpness

Depth from defocus در این روش از یک صحنه دو و یا چند تصویر با پارامترهای مختلف دوربین گرفته میشود. اطلاعات مربوط به فاصله از تصویر سه بعدی حاصل استخراج میشود.

تصویر فوکاس شده اگر یک شی در مقابل دوربین Pineholeقرار گرفته باشد، تصویر فوکاس شده یک نقطه x,yاز تصویرآن با F(x,y) نشان داده شده و برابر است با شدت نوری که از آن نقطه به تصویر میرسد. تابع point spread function بصورت زیر تعریف میشود: مقدار نور تابش شده از نقطه P شی در تصویر فوکاس شده که در تصویر بدون فوکاس دخالت میکند.

Point Spread Function با فرض اینکه blur circle دارای شدت نور یکنواختی است این تابع بصورت زیر تعریف میشود:

Best reported result is 1 Best reported result is 1.3% RMS error in terms of distance from the camera when the target is about 0.9 m away . The key problems are the measurement of difference of blurring amount and the calibration of the mapping between depth and the difference of blurring.

Stereo Vision

Stereo Vision فاصله نسبت معکوس با disparity دارد اشیا نزدیکتر را با دقت بیشتری میتوان اندازه گرفت مقدار disparity با b رابطه مستقیم دارد برای یک مقدار خطای disparity ثابت دقت اندازه گیری عمق با افزایش b بیشتر خواهد شد. اما این امکان وجود دارد که با افزایش b برخی اشیا فقط در یک تصویر دیده شوند. نقطه ای که در هر دو تصویر قابل رویت باشد، تشکیل یک زوج conjugate در تصاویر حاصله خواهد داد که با دانستن محل یکی میتوانیم در خطی با نام epipolar بدنبال دیگیری بگردیم. در مثال شکل قبل این خط موازی محور x است.

Stereo Vision – the general case در حالت کلی ممکن است فرض موازی بودن محور اپتیکی دو دوربین صحیح نباشد. مقادیر ماتریس دوران از طریق کالیبراسیون بدست میاید. We have 12 unknowns and require 12 equations: we require 4 conjugate points for a complete calibration. Note: Additionally there is a optical distortion of the image

سوال اساسی نقاط مزدوج در دو تصویر را چگونه میتوان پیدا کرد؟ How do we solve the correspondence problem? روش Zero Crossing of Laplacian of Gaussian یکی از تکنیک های متداول برای یافتن نقاط مزدوج میباشد.

Zero Crossing of Laplacian of Gaussian روشی است برای یافتن نقاطی در تصاویر سمت راست و چپ که پایدار بوده و بخوبی با هم انطباق پیدا میکنند. این روش در نرم افزار و سخت افزار پیاده شده است. هسته این روش را لاپلاسین تصویر تشکیل میدهد:

Zero Crossing of Laplacian of Gaussian برای اینکه بتوان رابطه فوق را برای یک تصویر دیجیتال محاسبه نمود آنرا با یک کانولوشن تقریب میزنند: kernel

مثال Step / Edge Detection in Noisy Image

حذف نویز برای کاهش اثر نویز ابتدا با استفاده از اپراتور گاوسی روی تصویر هموار سازی بعمل میاید. filtering through Gaussian smoothing

مثال left images right images اعمال لاپلاسین بر روی تصویر هموار شده باعث بوجود آمدن spike مثبت و منفی در محل لبه ها خواهد شد. edge filtered b1 and b2: vertical edge filtered left and right image; filter = [1 2 4 -2 -10 -2 4 2 1] c: confidence image: bright = high confidence (good texture) d: depth image: bright = close; dark = far confidence image depth image

Zero Crossing of Laplacian of Gaussian یک ویژگی بسیار موثر برای برای پیدا کردن correspondence بین تصاویر راست و چپ میتواند zero crossing لاپلاسین تصویر هموار شده باشد LoG Zero crossing دارای عرضی برابر با یک پیکسل است و بخوبی در تصاویر قابل محاسبه است.

Color Tracking Sensors Motion estimation of ball and robot for soccer playing using color tracking

Representing Colors in an RGB Image

How do We Segment a “Single” Color? We need to model it mathematically a priori

Simple RGB Color Segmentation

Grouping, Clustering: Assigning Features to Features