A Robust Visual Odometry and Precipice Detection System Using Consumer-grade Monocular Vision International Conference on Robotics and Automation Barcelona, Spain, April 2005 Jason Campbell (Intel Research Pittsburgh, CMU), Rahul Sukthankar (Intel Research Pittsburgh, CMU), Illah Nourbakhsh (NASA Ames Research Center, CMU), Aroon Pahwa (CMU)
Introduction 視覺機器人已長期研究 連續影像 運用視覺進行機器人定位與繪製地圖
Introduction 單視覺 良好真實環境表現 低實做複雜度 平價 webcam 一般電腦平台皆能有高效率
ALGORITHM 1. 取得影像並修正失真 2. 由連續影像計算 optical flow field 3. 去除不必要的 optical flow field 4. 由 optical flow field 分出地面與天空 5. 由天空物體座標變化計算轉向 6. 由地面物體座標變化計算位移 7. 由以上資訊定位機器人位置 8. 週期性補充 active trackpoints 保持資訊足夠
ESTIMATING THE OPTICAL FLOW FIELD Lucas–Kanade Optical Flow Method (1981) 刪除小變化特徵
SCREENING TRACKPOINTS FOR QUALITY 低對比 低特徵 失真 … 等等 先天造成 tracking errors 動態物體 物體超過影像 or 鏡像問題 人肢體動作
SCREENING TRACKPOINTS FOR QUALITY Smooth! 機器人影像應該 smooth 若因機械動作而不 smooth 也可預測 檢查 unsmooth 的追蹤點 ( 七頁, 三頁, 一頁判斷, 30 度角變化 ) 剔除該回合 加權系統
ESTIMATING ROBOT MOTION
V is the vertical dimension of the image in pixels
ESTIMATING ROBOT MOTION α
α
α
旋轉:畫面所有景物皆大幅度同向變化 平移:越靠近物體移動越明顯
ESTIMATING ROBOT MOTION 觀察地平線上的物體作為旋轉參考 觀察近機器人的物體作為平移參考 地平線附近的物體捨去避免計算錯誤 失效環境
DETECTING HAZARDS 障礙物或懸崖在畫面中會是不同深度的物體 但並沒有詳細重建畫面深度 將畫面切割為小區塊個別處理 障礙物獲懸崖會與週遭物體有不同 optical flow
DETECTING HAZARDS