Regrasp Planning for Polygonal and Polyhedral Objects Thanathorn Phoka Advisor : Dr. Attawith Sudsang

ในการดำรงชีวิตของมนุษย์ เราคุ้นเคยกับการจับมาตั้งแต่เกิด ซึ่งถือเป็นสัญชาตญาณการเอาตัวรอดอย่างหนึ่งของมนุษย์ที่ถ่ายทอดมาตั้งแต่สมัยบรรพกาล ไม่ว่าจะเป็นการจับอาวุธเพื่อป้องกันตัว การหยิบจับอาหารเพื่อรับประทาน รวมถึงงานจับอุปกรณ์เพื่อบันทึกประวัติศาสตร์และศิลปะตามผนังถ้ำ ในปัจจุบันมนุษย์ได้มีวิวัฒนาการในการสร้างเครื่องมือต่างๆ เพื่ออำนวยความสะดวก ดังนั้นการจับวัตถุที่ซับซ้อนจึงถูกพัฒนาขึ้นควบคู่กันไปด้วย เช่น การจับตะเกียบเพื่อคีบอาหาร การจับคอร์ดกีตาร์เพื่อให้ได้เสียงที่ต่างกัน หรือการจับพู่กันเพื่อให้ลงสีได้ตามน้ำหนักที่ต้องการ

Grasping Taxonomy [Cutkosky ’89]

Robotic Grasping ในทางวิทยาการหุ่นยนต์ มือหุ่นยนต์ได้ถูกออกแบบควบคู่มากับทฤษฎีการจับตั้งแต่ยุคเริ่มต้นของการวิจัยด้านหุ่นยนต์ มือหุ่นยนต์ที่สามารถใช้งานได้จริงคือ parallel jaw gripper ซึ่งได้ถูกนำไปใช้งานหยิบจับของในโรงงานอุตสาหกรรม แต่สำหรับมือหุ่นยนต์ที่มีความซับซ้อนมากกว่านั้นคือมือที่มีสามนิ้วขึ้นไป ความสามารถในการจับของมันยังถือว่าจับได้เพียงแค่วัตถุที่มีรูปทรงไม่ซับซ้อนเท่านั้น

Beyond Grasping... แต่มีบางสิ่งที่ซ่อนอยู่ในความสามารถในการจับของมนุษย์ ในขณะที่มนุษย์จับวัตถุและทำงานบางอย่าง การเปลี่ยนการจับเพียงเล็กน้อยได้เกิดขึ้นเช่น ในระหว่างที่จับปากกาเพื่อเขียนหนังสือ หรือในบางครั้งมนุษย์ก็มีเจตนาที่ชัดเจนในการเปลี่ยนการจับที่ซับซ้อนดังใน video สาธิตการเล่น Rubik ด้วยมือเดียวซึ่งต้องอาศัยจังหวะและความแม่นยำเพื่อไม่ให้แกนของ rubik ขัดกัน และด้วยความต้องการอันไม่สิ้นสุดของมนุษย์ สัญชาตญาณและความสามารถของมนุษย์ต่างๆ เหล่านี้ได้ถูกถ่ายทอดลงสู่เครื่องจักรด้วยความยากลำบาก และการจัดวัตถุในมือได้เกิดขึ้นเป็นสาขาย่อยสาขาหนึ่งในวิทยาการหุ่นยนต์ซึ่งมีชื่อว่า dexterous manipulation

Dexterous Manipulation finger position time Dexterous manipulation มีจุดประสงค์เพื่อหา trajectory ของการวางตัวของนิ้วเพื่อทำการจับ และเปลี่ยนการจับที่สอดคล้องกับช่วงเวลาทำงาน หากมองที่มือมนุษย์จริงๆ แต่ละนิ้วจะมี 3 dof รวมห้านิ้วแล้วจะมี 15 dof การวางแผนการเคลื่อนที่ของนิ้วจึงอยู่ที่ 16 dof เมื่อรวมแกนเวลาเข้าไปด้วย ในการวางแผนการเคลื่อนที่นั้น การเคลื่อนที่ของหุ่นยนต์และวัตถุจะถูกมองเทียบกับ world frame แต่ตัวอย่างที่แสดง รวมถึงงานวิจัยนี้ได้ simplify ปัญหาและความสนใจที่ยึดกับ object frame เท่านั้น

Regrasp Plan finger position time ส่วนย่อยส่วนหนึ่งของ dexterous manipulation คือ regrasp planning ซึ่งเป็น theme หลักในงานวิทยานิพนธ์นี้ โดยตัว planner จะทำการคำนวณหา snapshot ของตำแหน่งนิ้วที่ใช้จับวัตถุ ทุก time frame ที่มีการเปลี่ยนแปลงตำแหน่งการจับ

Proposal in Brief Algorithm for Planning Regrasp Sequences Geometry Algorithm for Planning Regrasp Sequences Solution Set of Regrasp Sequences Initial Grasp ภาพรวมของ regrasp planner ที่จะนำเสนอในงานนี้คือ รับ input เป็น geometry ของวัตถุ ตำแหน่งจับเริ่มต้น และตำแหน่งจับปลายทางที่ต้องการ ตัว planner จะทำการคำนวณ sequence ของ snapshot ที่ระบุตำแหน่งการเปลี่ยนการจับจากการจับเริ่มต้นไปยังการจับปลายทาง โดยผลลัพธ์ที่ได้จะเป็น set ของ sequence การเปลี่ยนการจับหลายๆ แบบ Final Grasp

Solution Set of Regrasp Sequences Motivation Manipulation Task Planning Solution Set of Regrasp Sequences Regrasp Planning Hand Control (Kinematics and Dynamics) จุดประสงค์ของ regrasp planner ที่ถูกนำเสนอในวิทยานิพนธ์นี้คือ การหาคำตอบเป็น set ของ regrasp sequence ซึ่งจุดเด่นของการให้คำตอบเป็น set ก็เพื่อลดความซับซ้อนของความสัมพันธ์ระหว่าง task และ constraint โดยแยกความต้องการสองอย่างนี้ออกจากกัน ส่งผลให้ task สามารถระบุได้โดยไม่ต้องสนใจว่า mechanical constraint จะเป็นอย่างไร regrasp planner จะทำการคำนวณ set ของคำตอบที่สอดคล้องกับ task และคำตอบที่ได้นี้ยังไม่ยึดติดกับ architecture และ constraint ของมือหุ่นยนต์ด้วย Manipulation Stack

Solution Set of Regrasp Sequences Things to Consider Solution Set of Regrasp Sequences How to get good grasps How to change from one grasp to the next set ของคำตอบที่ได้นั้นทำให้ได้คำตอบมากมาย แต่บางคำตอบอาจจะไม่สอดคล้องกับความต้องการ ซึ่งในการจับนั้นเราต้องการการจับที่ดี รวมถึงการเปลี่ยนตำแหน่งการจับที่ยังคงสภาพการจับที่ดีนั้นอยู่ด้วย

How to Get Good Grasps What is a good grasp? Equilibrium Force Closure f = 0 & m = 0 Grasp which can resist any external disturbance

Force Closure Wrench Force Torque Concatenation of force and torque r Force vector ( f ) Torque Torque vector ( r x f ) Concatenation of force and torque Wrench vector ( f, r x f ) สิ่งที่ถูกสนใจในการวิเคราะห์คุณสมบัติ force closure ของการจับคือ แรง และ ทอร์ค แรงนั้นเกิดที่จุดสัมผัสระหว่างนิ้วกับวัตถุซึ่งแนวแรงที่นิ้วสามารถกระทำต่อวัตถุได้จะถูกกำหนดอยู่ในกรวยเสียดทานเพื่อป้องกันการไถล ทอร์คเกิดจาก cross product ระหว่างตำแหน่งสัมผัสกับแรงที่จุดสัมผัส การจับที่มีคุณสมบัติ force closure คือการจับที่สามารถต้านทานการรบกวนจากภายนอกใดๆ ไม่ว่าจะเป็นแรง หรือ ทอร์ค ดังนั้นทั้งสอง component นี้จึงถูกมองร่วมกันและมีชื่อว่า wrench และการจับนั้นไม่ได้จับเพียงนิ้วเดียว แต่ละนิ้วก็จะทำให้เกิด wrench หลายๆ wrench ที่ต่างกัน r n

Force Closure B. Mishra, J.T. Schwartz, and M. Sharir. On the existence and synthesis of multifinger positive grips, 1987. Convex hull of wrenches contains the origin. fx fy m ทฤษฎีที่ใช้ในการทดสอบว่าการจับนั้นๆ มีคุณสมบัติ FC หรือไม่ซึ่งถูกนำมาใช้อย่างแพร่หลายคือการทดสอบว่า convex hull ของ wrench ที่จุดจับทั้งหมดมี origin อยู่ภายในหรือไม่ หายมี origin อยู่ภายในนั่นหมายความว่า หากเรากำหนดให้นิ้วสามารถออกแรงได้ไม่จำกัด ไม่ว่าการรบกวนของภายนอกจะออกมาทิศทางใดใน wrench space การจับนั้นก็จะสามารถออก wrench ในทิศทางตรงกันข้ามเพื่อมาหักล้างได้เสมอ

Force Closure Yun-Hui Liu. Qualitative test and force optimization of 3-D frictional form-closure grasps using linear programming, 1999. X. Zhu and J. Wang. Synthesis of force-closure grasps on 3-d objects based on the Q distance, 2003. X. Zhu, H. Ding, and S. K. Tso. A pseudodistance function and its applications, 2004. และงานวิจัยทางด้าน FC ซึ่งใช้เงื่อนไขดังกล่าวนี้ยังเป็นงานที่ยังมีการพัฒนาและแข่งขันกันอยู่จนถึงปัจจุบัน

Solution Set of Regrasp Sequences Things to Consider Solution Set of Regrasp Sequences How to get good grasps How to change from one grasp to the next set ของคำตอบที่ได้นั้นทำให้ได้คำตอบมากมาย แต่บางคำตอบอาจจะไม่สอดคล้องกับความต้องการ ซึ่งในการจับนั้นเราต้องการการจับที่ดี รวมถึงการเปลี่ยนตำแหน่งการจับที่ยังคงสภาพการจับที่ดีนั้นอยู่ด้วย

How to Change from One Grasp to the Next Operation หลักๆ ที่ใช้ในการเปลี่ยนการจับที่สนใจในงานนี้แบ่งเป็นสองประเภทหลักๆ คือ การสลับนิ้ว และการเลื่อนนิ้ว การสลับนิ้วเป็นการเปลี่ยนการจับโดยนำนิ้วหนึ่งเข้ามาแทนนิ้วที่เคยทำการจับอยู่ แต่ในบางครั้งการสลับนิ้วไม่สามารถเกิดขึ้นได้ทันที ยังต้องอาศัยการเลื่อนนิ้วไปยังตำแหน่งที่เหมาะสมก่อนที่จะทำการสลับนิ้ว Finger switching Finger gaiting Finger sliding Finger rolling

Kinematics and Dynamics Rolling contact N. Sarkar, X. Yun and Vijay Kumar. Dynamic control of 3-d rolling contacts in two-arm manipulation, 1997. Jianfeng Li, Yuru Zhang, and Qixian Zhang. Kinematic algorithm of multifingered manipulation with rolling contact, 2000. S. Arimoto, M. Yoshida and J.-H. Bae. Dynamic force/torque closure for 2D and 3D objects by means of rolling contacts with robot fingers, 2003. Sliding contact D. L. Brock. Enhancing the dexterity of robot hands using controlled slip, 1988. Arlene A. Cole, Ping Hsu, and Shankar Sastry. Dynamic control of sliding by robot hands for regrasping, 1992. Xin-Zhi Zheng, Ryo Nakashima, and Tsuneo Yoshikawa. On dynamic control of finger sliding and object motion in manipulation with multifingered hands, 2000. S. Ueki, H. Kawasaki, and T. Mouri. Adaptive Coordinated Control of Multi-Fingered Hands with Sliding Contact, 2006. การควบคุมการเคลื่อนที่ของการเลื่อนนิ้วทำได้ด้วยสองวิธีคือ การหมุนนิ้ว และไถลนิ้ว โดยในระหว่างการเลื่อนนิ้ว ระบบจะต้องรักษาเสถียรภาพของการจับรวมถึงการเคลื่อนที่ของนิ้วด้วย ซึ่งงานวิจัยทางด้านนี้ยังเป็นที่สนใจและได้รับการพัฒนาจนถึงปัจจุบัน

Dexterous Manipulation & Regrasping Review Object Constraints Operations Solutions existence Polygon Grasping Sliding 1 solution Polyhedron Rolling Kinematics งานวิจัยทางด้าน dexterous manipulation ที่อาศัยการเปลี่ยนการจับเป็น operation หลักสามารถแบ่งตามชนิดของวัตถุ ข้อกำหนดที่นำมาใช้ operation ที่นำมาใช้ และ ลักษณะของคำตอบที่ได้ โดยที่ลักษณะของวัตถุ blah blah blah Curve strict solutions Dynamics Gaiting Contact points set of general solutions

Dexterous Manipulation & Regrasping Review Object Constraints Operations Solutions existence Polygon Sliding Grasping 1 solution Polyhedron Rolling Kinematics Curve strict solutions Dynamics Gaiting Contact points set of general solutions Hong et. al. ‘90

Dexterous Manipulation & Regrasping Review Object Constraints Operations Solutions existence Polygon Grasping Sliding 1 solution Polyhedron Rolling Kinematics Curve strict solutions Dynamics Gaiting Contact points set of general solutions Han & Trinkle ‘98

Dexterous Manipulation & Regrasping Review Object Constraints Operations Solutions existence Polygon Grasping Sliding 1 solution Polyhedron Rolling Kinematics Curve strict solutions Dynamics Gaiting Contact points set of general solutions Cherif and Gupta ‘97

Dexterous Manipulation & Regrasping Review Object Constraints Operations Solutions existence Polygon Grasping Sliding 1 solution Polyhedron Rolling Kinematics Curve strict solutions Dynamics Gaiting Contact points set of general solutions Omata and Nagata ‘94

Dexterous Manipulation & Regrasping Review Object Constraints Operations Solutions existence Polygon Grasping Sliding 1 solution Polyhedron Rolling Kinematics Curve strict solutions Dynamics Gaiting Contact points set of general solutions R. Platt Jr., A.H. Fagg and R.A. Grupen ‘04

Dexterous Manipulation & Regrasping Review Object Constraints Operations Solutions existence Polygon Grasping Sliding 1 solution Polyhedron Rolling Kinematics Curve strict solutions Dynamics Gaiting Contact points set of general solutions Xu Jijie and Li Zexiang Li ‘05

Our Proposed Regrasp Planning Problem Object Constraints Operations Solutions existence Polygon Grasping Sliding 1 solution Polyhedron Kinematics Rolling สำหรับวิทยานิพนธ์นี้เราให้ความสนใจวัตถุที่เป็น blah blah blah Curve strict solutions Dynamics Gaiting Contact points set of general solutions

Problem configuration Regrasp planning Object model Polygon (2D) Polyhedron (3D) Contact point (assumed to be given from approximated 3D triangular mesh) Finger Free-flying finger 4 fingers (2D) 5 fingers (3D) กล่าวโดยสรุป .... โดยที่นิ้วที่ใช้จับถูกกำหนดให้เป็นนิ้วที่สามารถเคลื่อนที่ไปในที่ใดใน workspace เพื่อให้ได้คำตอบที่เป็น general set ที่ไม่ยึดติดกับ constraint ของมือหุ่นยนต์ ในกรณีการจับในสองมิติ การจับด้วยสามนิ้วถือว่าเพียงพอ แต่เพื่อทำการสลับนิ้ว จำเป็นต้องใช้นิ้วเพิ่มหนึ่งนิ้ว ดังนั้นจำนวนนิ้วที่ใช้จึงเป็น 4 และเช่นเดียวกันในสามมิติการจับสี่นิ้วเพียงพอ มือจึงถูกกำหนดให้มีห้านิ้ว

Methodology ua uc uc ub ub ud uc ub c d a b กลวิธีคร่าวๆ ในการแก้ปัญหาคือการพิจารณา set ของการจับที่ต่อเนื่องกัน โดย set ที่สามารถจับได้บนด้าน a b c แทนด้วยรูปด้านบน และ set ที่สามารถจับได้บนด้าน d b c แทนด้วยรูปทางด้านล่าง แต่ละ set ถูกแทนด้วย node ในกราฟ การเปลี่ยนการจับจากด้าน a ไปยังด้าน d ถูกมองเป็น projection ของ set บนด้านที่เหลือคือ c และ b หาก intersection ของ projection ไม่เป็น set ว่าง นั่นแสดงถึงความสามารถในการสลับนิ้วจากด้าน a ไปยังด้าน d โดยที่การจับบนด้าน c และ b อยู่ในส่วน intersection และยังบ่งบอกถึงเส้นเชื่อมระหว่าง node สอง node นี้ด้วย เมื่อมอง set ของการจับวัตถุทั้งก้อน จะทำให้เราได้กราฟที่แสดงความเชื่อมโยงของ set การจับที่สามารถแปลงปัญหา regrasp planning เป็นปัญหา graph search a,b,c d,b,c

Complete works Study works in grasping and regrasping. Proposed the switching graph as a frame work for regrasp planning. Apply simplified force closure conditions for polygon and polyhedron in algorithms constructing switching graphs.

Complete works A. Sudsang and T. Phoka. Regrasp planning for a 4-fingered hand manipulating a polygon. IEEE Int. Conf. on Robotics and Automation, 2003. T. Phoka and A. Sudsang. Regrasp planning for a 5-fingered hand manipulating a polyhedron. IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, 2003. A. Sudsang and T. Phoka. Geometric Reformulation of 3-Fingered Force-Closure Condition. IEEE Int. Conf. on Robotics and Automation, 2005. T. Phoka, P. Pipattanasomporn, N. Niparnan and A. Sudsang. Regrasp Planning of Four-Fingered Hand for Parallel Grasp of a Polygonal Object. IEEE Int. Conf. on Robotics and Automation, 2005. T. Phoka, N. Niparnan and A. Sudsang. Planning Optimal Force-Closure Grasps for Curved Objects by Genetic Algorithm. IEEE Int. Conf. on Robotics, Automation and Mechatronics, 2006. T. Phoka, N. Niparnan and A. Sudsang. Planning Optimal Force-Closure Grasps for Curved Objects. IEEE Int. Conf. on Robotics and Biomimetics, China, 2006.

Ongoing works Consider necessary and sufficient conditions for force closure grasp. Design a switching graph and an algorithm to cope with a set of contact points. Publish a journal article. Prepare and engage in a thesis defense.

Scope of the Research Consider regrasp planning problem for polygon, polyhedron and discrete point set. Propose a framework (switching graph) for regrasp planning in both 2D and 3D. Develop efficient algorithms for solving regrasp planning based on the proposed framework.

Expected Contribution We gain a framework and efficient algorithms working on regrasp planning problem in 2D and 3D workspace where the inputs are polygon, polyhedron or discrete point set.

Thank You