1. Regrasp Planning for Polygonal and Polyhedral Objects
Thanathorn Phoka
Advisor : Dr. Attawith Sudsang

2. ในการดำรงชีวิตของมนุษย์ เราคุ้นเคยกับการจับมาตั้งแต่เกิด ซึ่งถือเป็นสัญชาตญาณการเอาตัวรอดอย่างหนึ่งของมนุษย์ที่ถ่ายทอดมาตั้งแต่สมัยบรรพกาล ไม่ว่าจะเป็นการจับอาวุธเพื่อป้องกันตัว การหยิบจับอาหารเพื่อรับประทาน รวมถึงงานจับอุปกรณ์เพื่อบันทึกประวัติศาสตร์และศิลปะตามผนังถ้ำ ในปัจจุบันมนุษย์ได้มีวิวัฒนาการในการสร้างเครื่องมือต่างๆ เพื่ออำนวยความสะดวก ดังนั้นการจับวัตถุที่ซับซ้อนจึงถูกพัฒนาขึ้นควบคู่กันไปด้วย เช่น การจับตะเกียบเพื่อคีบอาหาร การจับคอร์ดกีตาร์เพื่อให้ได้เสียงที่ต่างกัน หรือการจับพู่กันเพื่อให้ลงสีได้ตามน้ำหนักที่ต้องการ

3. Grasping Taxonomy [Cutkosky ’89]

4. Robotic Grasping
ในทางวิทยาการหุ่นยนต์ มือหุ่นยนต์ได้ถูกออกแบบควบคู่มากับทฤษฎีการจับตั้งแต่ยุคเริ่มต้นของการวิจัยด้านหุ่นยนต์ มือหุ่นยนต์ที่สามารถใช้งานได้จริงคือ parallel jaw gripper ซึ่งได้ถูกนำไปใช้งานหยิบจับของในโรงงานอุตสาหกรรม แต่สำหรับมือหุ่นยนต์ที่มีความซับซ้อนมากกว่านั้นคือมือที่มีสามนิ้วขึ้นไป ความสามารถในการจับของมันยังถือว่าจับได้เพียงแค่วัตถุที่มีรูปทรงไม่ซับซ้อนเท่านั้น

5. Beyond Grasping...
แต่มีบางสิ่งที่ซ่อนอยู่ในความสามารถในการจับของมนุษย์ ในขณะที่มนุษย์จับวัตถุและทำงานบางอย่าง การเปลี่ยนการจับเพียงเล็กน้อยได้เกิดขึ้นเช่น ในระหว่างที่จับปากกาเพื่อเขียนหนังสือ หรือในบางครั้งมนุษย์ก็มีเจตนาที่ชัดเจนในการเปลี่ยนการจับที่ซับซ้อนดังใน video สาธิตการเล่น Rubik ด้วยมือเดียวซึ่งต้องอาศัยจังหวะและความแม่นยำเพื่อไม่ให้แกนของ rubik ขัดกัน และด้วยความต้องการอันไม่สิ้นสุดของมนุษย์ สัญชาตญาณและความสามารถของมนุษย์ต่างๆ เหล่านี้ได้ถูกถ่ายทอดลงสู่เครื่องจักรด้วยความยากลำบาก และการจัดวัตถุในมือได้เกิดขึ้นเป็นสาขาย่อยสาขาหนึ่งในวิทยาการหุ่นยนต์ซึ่งมีชื่อว่า dexterous manipulation

6. Dexterous Manipulation
finger position
time
Dexterous manipulation มีจุดประสงค์เพื่อหา trajectory ของการวางตัวของนิ้วเพื่อทำการจับ และเปลี่ยนการจับที่สอดคล้องกับช่วงเวลาทำงาน หากมองที่มือมนุษย์จริงๆ แต่ละนิ้วจะมี 3 dof รวมห้านิ้วแล้วจะมี 15 dof การวางแผนการเคลื่อนที่ของนิ้วจึงอยู่ที่ 16 dof เมื่อรวมแกนเวลาเข้าไปด้วย ในการวางแผนการเคลื่อนที่นั้น การเคลื่อนที่ของหุ่นยนต์และวัตถุจะถูกมองเทียบกับ world frame แต่ตัวอย่างที่แสดง รวมถึงงานวิจัยนี้ได้ simplify ปัญหาและความสนใจที่ยึดกับ object frame เท่านั้น

7. Regrasp Plan
finger position
time
ส่วนย่อยส่วนหนึ่งของ dexterous manipulation คือ regrasp planning ซึ่งเป็น theme หลักในงานวิทยานิพนธ์นี้ โดยตัว planner จะทำการคำนวณหา snapshot ของตำแหน่งนิ้วที่ใช้จับวัตถุ ทุก time frame ที่มีการเปลี่ยนแปลงตำแหน่งการจับ

8. Proposal in Brief Algorithm for Planning Regrasp Sequences
Geometry
Algorithm for Planning Regrasp Sequences
Solution Set of Regrasp Sequences
Initial Grasp
ภาพรวมของ regrasp planner ที่จะนำเสนอในงานนี้คือ รับ input เป็น geometry ของวัตถุ ตำแหน่งจับเริ่มต้น และตำแหน่งจับปลายทางที่ต้องการ ตัว planner จะทำการคำนวณ sequence ของ snapshot ที่ระบุตำแหน่งการเปลี่ยนการจับจากการจับเริ่มต้นไปยังการจับปลายทาง โดยผลลัพธ์ที่ได้จะเป็น set ของ sequence การเปลี่ยนการจับหลายๆ แบบ
Final Grasp

9. Solution Set of Regrasp Sequences
Motivation
Manipulation Task Planning
Solution Set of Regrasp Sequences
Regrasp Planning
Hand Control (Kinematics and Dynamics)
จุดประสงค์ของ regrasp planner ที่ถูกนำเสนอในวิทยานิพนธ์นี้คือ การหาคำตอบเป็น set ของ regrasp sequence ซึ่งจุดเด่นของการให้คำตอบเป็น set ก็เพื่อลดความซับซ้อนของความสัมพันธ์ระหว่าง task และ constraint โดยแยกความต้องการสองอย่างนี้ออกจากกัน ส่งผลให้ task สามารถระบุได้โดยไม่ต้องสนใจว่า mechanical constraint จะเป็นอย่างไร regrasp planner จะทำการคำนวณ set ของคำตอบที่สอดคล้องกับ task และคำตอบที่ได้นี้ยังไม่ยึดติดกับ architecture และ constraint ของมือหุ่นยนต์ด้วย
Manipulation Stack

10. Solution Set of Regrasp Sequences
Things to Consider
Solution Set of Regrasp Sequences
How to get good grasps
How to change from one grasp to the next
set ของคำตอบที่ได้นั้นทำให้ได้คำตอบมากมาย แต่บางคำตอบอาจจะไม่สอดคล้องกับความต้องการ ซึ่งในการจับนั้นเราต้องการการจับที่ดี รวมถึงการเปลี่ยนตำแหน่งการจับที่ยังคงสภาพการจับที่ดีนั้นอยู่ด้วย

11. How to Get Good Grasps What is a good grasp? Equilibrium Force Closure
f = 0 & m = 0
Grasp which can resist any external disturbance

12. Force Closure Wrench Force Torque Concatenation of force and torque r
Force vector ( f )
Torque
Torque vector ( r x f )
Concatenation of force and torque
Wrench vector ( f, r x f )
สิ่งที่ถูกสนใจในการวิเคราะห์คุณสมบัติ force closure ของการจับคือ แรง และ ทอร์ค แรงนั้นเกิดที่จุดสัมผัสระหว่างนิ้วกับวัตถุซึ่งแนวแรงที่นิ้วสามารถกระทำต่อวัตถุได้จะถูกกำหนดอยู่ในกรวยเสียดทานเพื่อป้องกันการไถล ทอร์คเกิดจาก cross product ระหว่างตำแหน่งสัมผัสกับแรงที่จุดสัมผัส การจับที่มีคุณสมบัติ force closure คือการจับที่สามารถต้านทานการรบกวนจากภายนอกใดๆ ไม่ว่าจะเป็นแรง หรือ ทอร์ค ดังนั้นทั้งสอง component นี้จึงถูกมองร่วมกันและมีชื่อว่า wrench และการจับนั้นไม่ได้จับเพียงนิ้วเดียว แต่ละนิ้วก็จะทำให้เกิด wrench หลายๆ wrench ที่ต่างกัน r n

13. Force Closure
B. Mishra, J.T. Schwartz, and M. Sharir. On the existence and synthesis of multifinger positive grips, 1987.
Convex hull of wrenches contains the origin. fx fy m
ทฤษฎีที่ใช้ในการทดสอบว่าการจับนั้นๆ มีคุณสมบัติ FC หรือไม่ซึ่งถูกนำมาใช้อย่างแพร่หลายคือการทดสอบว่า convex hull ของ wrench ที่จุดจับทั้งหมดมี origin อยู่ภายในหรือไม่ หายมี origin อยู่ภายในนั่นหมายความว่า หากเรากำหนดให้นิ้วสามารถออกแรงได้ไม่จำกัด ไม่ว่าการรบกวนของภายนอกจะออกมาทิศทางใดใน wrench space การจับนั้นก็จะสามารถออก wrench ในทิศทางตรงกันข้ามเพื่อมาหักล้างได้เสมอ

14. Force Closure
Yun-Hui Liu. Qualitative test and force optimization of 3-D frictional form-closure grasps using linear programming, 1999.
X. Zhu and J. Wang. Synthesis of force-closure grasps on 3-d objects based on the Q distance, 2003.
X. Zhu, H. Ding, and S. K. Tso. A pseudodistance function and its applications, 2004.
และงานวิจัยทางด้าน FC ซึ่งใช้เงื่อนไขดังกล่าวนี้ยังเป็นงานที่ยังมีการพัฒนาและแข่งขันกันอยู่จนถึงปัจจุบัน

15. Solution Set of Regrasp Sequences
Things to Consider
Solution Set of Regrasp Sequences
How to get good grasps
How to change from one grasp to the next
set ของคำตอบที่ได้นั้นทำให้ได้คำตอบมากมาย แต่บางคำตอบอาจจะไม่สอดคล้องกับความต้องการ ซึ่งในการจับนั้นเราต้องการการจับที่ดี รวมถึงการเปลี่ยนตำแหน่งการจับที่ยังคงสภาพการจับที่ดีนั้นอยู่ด้วย

16. How to Change from One Grasp to the Next
Operation หลักๆ ที่ใช้ในการเปลี่ยนการจับที่สนใจในงานนี้แบ่งเป็นสองประเภทหลักๆ คือ การสลับนิ้ว และการเลื่อนนิ้ว การสลับนิ้วเป็นการเปลี่ยนการจับโดยนำนิ้วหนึ่งเข้ามาแทนนิ้วที่เคยทำการจับอยู่ แต่ในบางครั้งการสลับนิ้วไม่สามารถเกิดขึ้นได้ทันที ยังต้องอาศัยการเลื่อนนิ้วไปยังตำแหน่งที่เหมาะสมก่อนที่จะทำการสลับนิ้ว
Finger switching
Finger gaiting
Finger sliding
Finger rolling

17. Kinematics and Dynamics
Rolling contact
N. Sarkar, X. Yun and Vijay Kumar. Dynamic control of 3-d rolling contacts in two-arm manipulation, 1997.
Jianfeng Li, Yuru Zhang, and Qixian Zhang. Kinematic algorithm of multifingered manipulation with rolling contact, 2000.
S. Arimoto, M. Yoshida and J.-H. Bae. Dynamic force/torque closure for 2D and 3D objects by means of rolling contacts with robot fingers, 2003.
Sliding contact
D. L. Brock. Enhancing the dexterity of robot hands using controlled slip, 1988.
Arlene A. Cole, Ping Hsu, and Shankar Sastry. Dynamic control of sliding by robot hands for regrasping, 1992.
Xin-Zhi Zheng, Ryo Nakashima, and Tsuneo Yoshikawa. On dynamic control of finger sliding and object motion in manipulation with multifingered hands, 2000.
S. Ueki, H. Kawasaki, and T. Mouri. Adaptive Coordinated Control of Multi-Fingered Hands with Sliding Contact, 2006.
การควบคุมการเคลื่อนที่ของการเลื่อนนิ้วทำได้ด้วยสองวิธีคือ การหมุนนิ้ว และไถลนิ้ว โดยในระหว่างการเลื่อนนิ้ว ระบบจะต้องรักษาเสถียรภาพของการจับรวมถึงการเคลื่อนที่ของนิ้วด้วย ซึ่งงานวิจัยทางด้านนี้ยังเป็นที่สนใจและได้รับการพัฒนาจนถึงปัจจุบัน

18. Dexterous Manipulation & Regrasping Review
Object
Constraints
Operations
Solutions
existence
Polygon
Grasping
Sliding
1 solution
Polyhedron
Rolling
Kinematics
งานวิจัยทางด้าน dexterous manipulation ที่อาศัยการเปลี่ยนการจับเป็น operation หลักสามารถแบ่งตามชนิดของวัตถุ ข้อกำหนดที่นำมาใช้ operation ที่นำมาใช้ และ ลักษณะของคำตอบที่ได้
โดยที่ลักษณะของวัตถุ blah blah blah
Curve
strict solutions
Dynamics
Gaiting
Contact points
set of general solutions

19. Dexterous Manipulation & Regrasping Review
Object
Constraints
Operations
Solutions
existence
Polygon
Sliding
Grasping
1 solution
Polyhedron
Rolling
Kinematics
Curve
strict solutions
Dynamics
Gaiting
Contact points
set of general solutions
Hong et. al. ‘90

20. Dexterous Manipulation & Regrasping Review
Object
Constraints
Operations
Solutions
existence
Polygon
Grasping
Sliding
1 solution
Polyhedron
Rolling
Kinematics
Curve
strict solutions
Dynamics
Gaiting
Contact points
set of general solutions
Han & Trinkle ‘98

21. Dexterous Manipulation & Regrasping Review
Object
Constraints
Operations
Solutions
existence
Polygon
Grasping
Sliding
1 solution
Polyhedron
Rolling
Kinematics
Curve
strict solutions
Dynamics
Gaiting
Contact points
set of general solutions
Cherif and Gupta ‘97

22. Dexterous Manipulation & Regrasping Review
Object
Constraints
Operations
Solutions
existence
Polygon
Grasping
Sliding
1 solution
Polyhedron
Rolling
Kinematics
Curve
strict solutions
Dynamics
Gaiting
Contact points
set of general solutions
Omata and Nagata ‘94

23. Dexterous Manipulation & Regrasping Review
Object
Constraints
Operations
Solutions
existence
Polygon
Grasping
Sliding
1 solution
Polyhedron
Rolling
Kinematics
Curve
strict solutions
Dynamics
Gaiting
Contact points
set of general solutions
R. Platt Jr., A.H. Fagg and R.A. Grupen ‘04

24. Dexterous Manipulation & Regrasping Review
Object
Constraints
Operations
Solutions
existence
Polygon
Grasping
Sliding
1 solution
Polyhedron
Rolling
Kinematics
Curve
strict solutions
Dynamics
Gaiting
Contact points
set of general solutions
Xu Jijie and Li Zexiang Li ‘05

25. Our Proposed Regrasp Planning Problem
Object
Constraints
Operations
Solutions
existence
Polygon
Grasping
Sliding
1 solution
Polyhedron
Kinematics
Rolling
สำหรับวิทยานิพนธ์นี้เราให้ความสนใจวัตถุที่เป็น blah blah blah
Curve
strict solutions
Dynamics
Gaiting
Contact points
set of general solutions

26. Problem configuration
Regrasp planning
Object model
Polygon (2D)
Polyhedron (3D)
Contact point (assumed to be given from approximated 3D triangular mesh)
Finger
Free-flying finger
4 fingers (2D)
5 fingers (3D)
กล่าวโดยสรุป ....
โดยที่นิ้วที่ใช้จับถูกกำหนดให้เป็นนิ้วที่สามารถเคลื่อนที่ไปในที่ใดใน workspace เพื่อให้ได้คำตอบที่เป็น general set ที่ไม่ยึดติดกับ constraint ของมือหุ่นยนต์ ในกรณีการจับในสองมิติ การจับด้วยสามนิ้วถือว่าเพียงพอ แต่เพื่อทำการสลับนิ้ว จำเป็นต้องใช้นิ้วเพิ่มหนึ่งนิ้ว ดังนั้นจำนวนนิ้วที่ใช้จึงเป็น 4 และเช่นเดียวกันในสามมิติการจับสี่นิ้วเพียงพอ มือจึงถูกกำหนดให้มีห้านิ้ว

27. Methodology ua uc uc ub ub ud uc ub c d a b
กลวิธีคร่าวๆ ในการแก้ปัญหาคือการพิจารณา set ของการจับที่ต่อเนื่องกัน โดย set ที่สามารถจับได้บนด้าน a b c แทนด้วยรูปด้านบน
และ set ที่สามารถจับได้บนด้าน d b c แทนด้วยรูปทางด้านล่าง แต่ละ set ถูกแทนด้วย node ในกราฟ การเปลี่ยนการจับจากด้าน a ไปยังด้าน d ถูกมองเป็น projection ของ set บนด้านที่เหลือคือ c และ b หาก intersection ของ projection ไม่เป็น set ว่าง นั่นแสดงถึงความสามารถในการสลับนิ้วจากด้าน a ไปยังด้าน d โดยที่การจับบนด้าน c และ b อยู่ในส่วน intersection และยังบ่งบอกถึงเส้นเชื่อมระหว่าง node สอง node นี้ด้วย เมื่อมอง set ของการจับวัตถุทั้งก้อน จะทำให้เราได้กราฟที่แสดงความเชื่อมโยงของ set การจับที่สามารถแปลงปัญหา regrasp planning เป็นปัญหา graph search
a,b,c
d,b,c

28. Complete works Study works in grasping and regrasping.
Proposed the switching graph as a frame work for regrasp planning.
Apply simplified force closure conditions for polygon and polyhedron in algorithms constructing switching graphs.

29. Complete works
A. Sudsang and T. Phoka. Regrasp planning for a 4-fingered hand manipulating a polygon. IEEE Int. Conf. on Robotics and Automation, 2003.
T. Phoka and A. Sudsang. Regrasp planning for a 5-fingered hand manipulating a polyhedron. IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, 2003.
A. Sudsang and T. Phoka. Geometric Reformulation of 3-Fingered Force-Closure Condition. IEEE Int. Conf. on Robotics and Automation, 2005.
T. Phoka, P. Pipattanasomporn, N. Niparnan and A. Sudsang. Regrasp Planning of Four-Fingered Hand for Parallel Grasp of a Polygonal Object. IEEE Int. Conf. on Robotics and Automation, 2005.
T. Phoka, N. Niparnan and A. Sudsang. Planning Optimal Force-Closure Grasps for Curved Objects by Genetic Algorithm. IEEE Int. Conf. on Robotics, Automation and Mechatronics, 2006.
T. Phoka, N. Niparnan and A. Sudsang. Planning Optimal Force-Closure Grasps for Curved Objects. IEEE Int. Conf. on Robotics and Biomimetics, China, 2006.

30. Ongoing works
Consider necessary and sufficient conditions for force closure grasp.
Design a switching graph and an algorithm to cope with a set of contact points.
Publish a journal article.
Prepare and engage in a thesis defense.

31. Scope of the Research
Consider regrasp planning problem for polygon, polyhedron and discrete point set.
Propose a framework (switching graph) for regrasp planning in both 2D and 3D.
Develop efficient algorithms for solving regrasp planning based on the proposed framework.

32. Expected Contribution
We gain a framework and efficient algorithms working on regrasp planning problem in 2D and 3D workspace where the inputs are polygon, polyhedron or discrete point set.

33. Thank You