واقعیت مجازی و کاربرد آن در پزشکی واقعیت مجازی و کاربرد آن در پزشکی تنظیم کننده: آزاده صادقی کاربرد فناوری اطلاعات در پزشکی E_mail:sadeghiazadeh@gmail.com

خلاصه فهرست مطالب واقعیت مجازی چیست ؟ تاریخچه تکنیک های virtual reality سخت افزار و معماری یک سیستم VR کاربردهای مختلف VR کاربرد در پزشکی دور نما منابع و لینک های مفید جهت مطالعه بیشتر

تعریف مجازی- Virtual مجازي  virtual: صفتي كه به فعاليت ها، اهداف، موجودات و مكان هايي اشاره دارد كه واقعيت فيزيكي ندارند. بلكه تنها در شكل رقومي ( سايبر- فضا ) موجوديت دارند مثل صندوق الكترونيكي

واقعيت مجازي virtual reality محيط الكترونيكي كه با استفاده از جلوه هاي بصري سه بعدي واقعيت را مشابه سازي مي كند اما فاقد ماديت فيزيكي هستند. واقعيت مجازي با اختصار  VR توليد نرم افزاري – رايانه اي از يك پنداره يا محيط كه براي حواس ( بيشتر بصري ) معادل واقعيت، وانمود گردد و به فضاي سه بعدي كه توسط كامپيوتر ايجاد مي شود، اطلاق مي گردد. در حقيقت واقعيت مجازي استفاده از فناوري پيشرفته از جمله كامپيوتر و لوازم جانبي آن و ابزارهاي چند رسانه اي مختلف براي ايجاد يك محيط مجازي شبيه سازي شده است. در اين محيط كاربر اشياء، حوادث و رخداد هاي مجازي قابل مقايسه با دنياي واقعي را با استفاده از مبدلهاي طراحي شده و حسگر هاي خاص به طور تعاملي در دست مي گيرد و تصاوير نمايشي و حركتي را مشاهده مي كند طوري كه فرد گمان كند در محيط واقعي قرار گرفته است.

تاریخچه VR 1910- پنوماتيك و حركت هواپيما و آموزش خلبانان ( شبیه سازهای مکانیکی 1929- مفهوم شبیه سازهای الکترونیکی 1955- سیستم های video based ، سینمای سه بعدی اواخر دهه 60 – طرح دنیای مجازی تحت کنترل کامپیوتر تولید دستگاه واقعیت مجازی توسط میرون کروگر دهه 70 – تولید گرافیک های سه بعدی شبکه سیمی و استفاده از آن در اولین شبیه سازی های کامپیوتری – ایوان ساترلند 1970 – اضافه کردن هوش مصنوعی به این سیستم - میرون کروگر 1983- HMD (Head Mounted Display ) 1989- اصطلاح واقعیت مجازی توسط یارون لانیر 1989- ساخت HMD های تجاری – شرکت VPL

تکنیک های VR در پزشکی Virtual Realisation Surface rendering of polygons - natural for graphics machines

تکنیک های VR در پزشکی Hybrid models - with texture mapping

تکنیک های VR در پزشکی Volume rendering - natural form for volumetric data مورد استفاده در داده های حجمی نیاز به سرعت و قدرت پردازش بالا

تکنیک های VR در پزشکی Modelling objects - first stage of adding meaning

تکنیک های VR در پزشکی e.g. registration of multiple sources When more than one image modality involved: Registration – Voxelman

تکنیک های VR در پزشکی Modelling behaviours - autonomous, interactive and predictive

ابزار سیستم VR داده ها : براي دنياي مجاز ي كليه اطلاعاتي كه آن جهان را تعريف مي كند. چيزهايي مثل شكل، رنگ اشيا و نحوه حركت ، صدا و ازاين قبيل كامپيوتر گرافيكي پر قدرت و با سرعت بسيار بالا. نرم افزار كاربردي نرم افزاري براي دنياي مجازي سه بعدي كه واقعيت محازي را به راه مي اندازد و تصاوير و صداهاو فضاها را توليد مي كند و آنها را نمايش مي دهد VRML زبان مدل سازي واقعيت مجازي VRML كه به صورت V-R-M-L يا Vermil تلفظ مي شود، كلمه اي اختصاري براي Virtual Reality Modeling Language  يا زبان مدل سازي واقعيت مجازي است. اين زبان كه توسعه واقعيت مجازي و فناوري هاي مدل سازي سه بعدي است در مي 1994 توسط مارك بسكي [9] تن پاريسي[10] و گاوين بل[11] نوشته شد. آنها در انجمن حرفه ايي گرافيك كامپيوتري نسبت به ايجاد يك برنامه جلوه خاص ويژه براي دنياي انيميشن سه بعدي تعاملي در روي وب اقدام نمودند كه موتور محرك اين كار زبان VRMLبود.

ابزارهاي ورودي و خروجي اين ابزارها واسط ميان كاربر و كامپيوترهستند از جمله : الف  –نمايش گر مخصوص سر HMD با گوشي استريو جهان مجازي را مي بينيدو مي شنويد .متداولترين نمايشگرهاي تصويري براي نمايش تصاوير مجازي است كه از دو نمايشگر مجرا براي هر دو چشم تشكيل شده است كه بر سر كاربر نصب مي شود اين نمايشگرها داراي كيفيت زاويه ديد متفاوت هستند .

  ب - دستكش اطلاعات (Data Glove): با گرفتن ان به دنياي مجازي مي رويد و در آنجا حركت مي كنيد . با وجوديكه صفحه كليد وسيله خوبي براي برقراري ارتباط با كامپيوتر است اما خيلي زود مشخص شد كه براي ارتباط با محيط مجازي نقش محدود كننده اي دارد .پس دستكش اطلاعات توسط توماس زيمرمان (فردي كه تلاش كرد گيتار مجازي را خلق كند)توليد شد كه بوسيله آن تماس با دنياي مجازي طبيعي تر مي شد.

انواع دیگر displays

Force Feedbackابزار Rutgers University, Rutgers Master II Reads hand gestures (hand-master) Displays forces (haptic display) Four fingers in real time

انواع دیگر ابزار ورودی joystick Probe

مبدل های حسی Vibro- and Electro-tactile stimulation (simple surface texture) Micro-pin stimulation (complex surface textures, and edges) Pneumatic and force feedback (shape)

کلیه کاربرد های واقعیت مجازی را می توان در 3 مقوله زیر قرار داد : تقسیم بندی کاربرد VR کلیه کاربرد های واقعیت مجازی را می توان در 3 مقوله زیر قرار داد : ● شبيه سازي شبيه سازي به معناي وانمودن، حل كردن، تقليد چيزي است. دنياهاي مجازي برگردان هاي دنياي واقعي اند، مانند شبيه سازي وشبيه سازي پرواز يا رانندگي در محيطهاي مختلف مثل محيط فيزيكي فضايي و…   ● تجسم تجسم به معناي مجسم كردن قابل مشاهده ساختن به خصوص در ذهن دنياهاي مجازي كه با نشان دادن اطلاعات به صورت تصاوير سه بعدي آسان تر فهميده شوند. مثل تجسم هاي مجازي از فعاليت هاي پزشكي،نظامي و آموزشي   ● واقع گريزي واقع گريزي به معناي تمايل به خلاصي از واقعيت دنياهاي مجازي كه با تخيل خلق ميشوند ، شبيه بازي هاي ماجرايي

کاربردهای رایج VR ● فروشگاه هاي مجازي براي استفاده بهتر از تجارت الكترونيكي ● دانشگاه هاي مجازي كه كلاسها و آزمايشگا ه هاي آن همه مجازي است و شاگردان آن درنقاط مختلف دنيا قراردارد. ● شبيه سازي حركت وسائل نقليه و آموزش رانندگي، خلباني شبيه سازي انواع ورزش و………… . ● جراحي از راه دور ، اموزش جراحی و آناتومی ، پزشکی ● كتابخانه و مراكز اطلاعاتي ● بازيهاي واقعيت مجازي چند نفره و ابزار هاي سرگرمي مجازي

مزاياي استفاده از محيط مجازي در اين محيط كاربر امنيت بيشتري احساس مي كند. در اغلب موارد هزينه طراحي و پياده سازي كمتري دارد. انعطاف پذير است - مي توان آن را به راحتي براساس شرايط واهداف تغيير داد. كاربرهاي واقعي وتوان بالقوه فوق العاده اي دارد به طوري كه كاربران مي توانند مدل شبيه زندگي را تجربه كننديا درمحيطي امن قدم زنند و مي توانند در عين حال روي آن محيط كنترل داشته باشند در واقعيت ممكن است چنين چيزي محال باشد.

کاربرد های پزشکی VR حوزه های کاربری VR در پزشکی کاربری های رایج : آموزش Training برنامه ریزی Planning درمان Treatment کاربری های رایج : جراحی عمومی جراحی مغز و اعصاب روانپزشکی

آموزش پزشکی استفاده از سیستم های مولتی مدیا – VR جهت آموزش فعال آناتومی و فیزیولوژی

آموزش پزشکی- شبیه سازهای جراحی

برنامه ریزی جراحی

استفاده از واقعیت افزوده در جراحی تلفیقی از محیط مجازی و محیط حقیقی

واقعیت افزوده در جراحی مغز و اعصاب Neurosurgery Harvard Medical School Combined neurosurgery planning and augmented reality

جنينVisualization دانشگاه North Carolina سيستم VR جهت تصويرگيري از جنين در رحم مادر روش :روي هم قراردادن تصوير اولتراسوند جنين و تصوير ويدئويي رحم قابل استفاده در check up هاي دوران بارداري

آندوسكوپي كلاسيك ورود يك سيستم optical به داخل ارگان بيمار ( كولون ، معده ، روده ، سينوس و ... ) جهت معاينه امتياز اين سيستم ، ايجاد تصوير واضح و روشن از سطح بافت جهت تشخيص است . معايب : امكان ايجاد جراحت سطح بافت ، semi invasive عدم امكان عبور از ديواره هاي كولون

آندوسكوپي مجازي VE- مراحل : تصويربرداري 3D از ارگان مورد نظر ( ‍CT, MRI و ... ) پيش پردازش تصوير 3D ( registeration , interpolation ) آناليز تصوير 3D جهت ايجاد مدل آناتوميكي (segmentation) محاسبه مسير 3D camera- target جهت انتخاب اتوماتيك يا دستي مسير مشاهده قراردادن نماهاي مكرر در مسير مشاهده به منظور توليد انيميشن (سطح و حجم )

مناسب جهت ارگان هاي بزرگ سايز : مانند سيستم قلبي عروقي ، مفاصل اصلي ، سيستم كليوي ، نخاع اولين سيستم VE در مورد كولونو سكوپي و در سال 1995 استفاده شد.

مزايا و معايب VE مزايا: عدم وجود محدوديت حركتي براي دستگاه endoscope كاملا غير تهاجمي بدون نياز به بستري بيماردر بيمارستان معايب : تكنيك هاي آندوسكوپي مجازي كنوني امكان بازسازي تصوير ظاهر سطح بافت ارگان را ندارند . تاريخچه VE Virtual colonoscopy (Vining, Kaufman) Carotid arteries (Lorensen) 3-D organ visualizations (Robb) Visualizations for stereotactic neurosurgery (Jolesz and Kikinis)

تاریخچه VE Virtual colonoscopy (Vining, Kaufman) Carotid arteries (Lorensen) 3-D organ visualizations (Robb) Visualizations for stereotactic neurosurgery (Jolesz and Kikinis)

چند نمونه ... شبیه ساز آموزش تکنیک جراحی آرتروسکوپی شبیه ساز آندوسکوپی سینوس امکان تمرین مجازی جراحی برای دانشجو قبل از انجام جراحی واقعی

چند نمونه .... کمیته تحقیقاتی جراحی روباتیک – سوسیس شبیه سازی اعضای داخلی شکم و خصوصیات بافت در pushing و pulling بافت شبیه سازی force feadback

مدل سازی اعضا

برنامه ریزی پروسه جراحی ایجاد مدل خاص برای هر بیمار در جراحی پروستات با استفاده از VR انجام اندازه گیری های سه بعدی 3D measurments استفاده از یک ابزار اندازه گیری متصل به میکروسکوپ جراحی تصاویر stereo ناحیه جراحی با تصاویر کامپیوتری تلفیق یافته و Virtual measure tape را بوجود می آورند. صفحه نمایش تقویت شده ، سیستم اندازه گیری بسیار دقیقی را بوجود می آورند. میزان دقت تا 0.2 الی 0.7 mm نرم افزار VR کمک جراح VR Assisted Surgery Program (VRASP)

برنامه ریزی جراحی

شبیه ساز جراحی فک و صورت Erlangen Institute, Germany در جراحی فک وصورت پیش بینی نتایج جراحی از اهمیت خاصی برخوردار است در این سیستم امکان پیش نمایش نتیجه عمل جراحی به بیمار وجود دارد.

پیش نمایش جراحی فک و صورت

واقعیت افزوده در جراحی Augmented Reality Julesz, Harward Medical School مشاهده واقعیت افزوده Augmented Reality در 3 مرحله صورت می گیرد: 1- اسکن سه بعدی از سطح سر بیمار 2- ثبت سه بعدی تصاویر و اسکن های سطح سر 3- مشخص نمودن تومور یا ضایعه ( رنگ سبز در تصویر )

کاربرد روانپزشکی ترس از ارتفاع ، پرواز ، جانوران و .... روش درمان عبارت است از قراردادن بیمار در موقعیت استرس زا برای او در محیط مجازی و تحت کنترل قراردادن استرس ، شروع کار با موقعیت کم استرس زا و اضافه نمودن بتدریج موقعیت های بیشتر

کاربرد در Telesurgery Telesurgery is a telepresence application in medicine where the surgeon and the patient are at different locations The sketches below show the telesurgery concept currently under development at the Medical Robotics Lab at UC Berkeley

نتیجه گیری دور نما و حقیقت مجازی یا virtual reality یکی از زمینه های تحقیق بسیار گسترده در حوزه مهندسی پزشکی می باشد . واسطه های انسان – کامپیوتر مانند force –feedback یا واسطه های لمسی تکنیک های مدل سازی بافت جهت شبیه سازی ارگان های بدن تکنیک های نمایش تصویر امکان ایجاد نسل جدیدی در تصویربرداری پزشکی با بکارگیری مفاهیم حقیقت مجازی و ایجاد مشاهدات موثرتر استفاده از تکنولوژی virtual reality در کاربردهای پزشکی از راه دور

لینک های مفید جهت مطالعه بیشتر http://www.irandoc.ac.ir/data/e_j/vol6/eini.htm http://en.wikipedia.org/wiki/Virtual_reality http://www.informatik.umu.se/~jwworth/medpage.html http://www.vrlab.com/ http://www.ahs.uic.edu/ahs/php/?sitename=vrml http://www.uic.edu/ahs/sbhis/vrml/Publications/publicationsWebBasedSegment.htm