1. دکتر کوروش احمدی گروه طب اورژانس- دانشگاه علوم پزشکی البرز
ارزیابی در آموزش پزشکی
دکتر کوروش احمدی
گروه طب اورژانس- دانشگاه علوم پزشکی البرز

2. آیا ارزیابی دانش به تنهایی کافی است؟ راه حل:
workplace – based assessment
(WPBA)
ارزیابی مبتنی بر محل کار

3. تعریف:
ارزیابی کارها و عملکرد روزانه فرد در محیط کار
سه نکته در این نوع ارزیابی:
- اساس قضاوت چیست؟
سرانجام و پیامد بیمار/فرایند مراقبت از بیمار/
حجم کار انجام شده توسط پزشک

4. -چگونگی جمع آوری اطلاعات:
پرونده های بالینی/اطلاعات اداری و بایگانی/کارنامه فراگیران/مشاهده
- اجتناب از مواردی که روایی و پایایی را تهدید می کنند:
مخلوط بودن بیماران/پیچیده بودن بیماران و تعداد بیماران

5. ارزیابی پیامد های یادگیری
دو ویژگی آموزش پزشکی:
- تاکید بر ارزیابی: به عنوان ابزاری برای تضمین کیفیت در برنامه های آموزشی
- حرکت به سوی آموزش مبتنی بر پیامد:که در آن پیامد های یادگیری تعریف شده و برنامه های آموزشی بر مبنای آن استوار می گردد.

6. بنابراین:
اگر استادان قرار است دانشجویان خود را بهتر ارزیابی نمایند لازم است که درک عمیق تری از روند ارزیابی داشته باشند و پیامد های یادگیری را که باید مورد ارزیابی قرار گیرند مورد توجه قرار دهند و بهترین ابزار برای ارزیابی هر پیامد را بشناسند .

7. هرم میلر

8. ابزار هایی که برای ارزیابی انتخاب می شوند باید دارای چهار خصوصیت زیر باشند:
-validity روایی
-reliability پایایی
- عملی بودن (شامل هزینه های مالی)
- تاثیر بر یادگیری دانشجویان

9. ویژه گی های روان سنجی بویژه در آزمون های سرنوشت سازو تاثیر گذار باید مورد بررسی قرار گیرند( روایی و پایایی آزمون)

10. روایی آزمون
اطلاعات و شواهدی که به منظور حمایت یا رد درستی مفهوم استنباط شده از آزمون یا تفسیر بدست آمده بر مبنای نتایج آزمون ارائه می گردد.
امروزه تاکید براین است که روایی مربوط به تفسیر نمرات حاصل از آزمون است و نه خود آزمون(تفسیر نمرات آزمون می تواند به صورت معنی دار و درست صورت گرفته باشد یا خیر)
روایی جزء لاینفک هر آزمون است.

11. به کمک 5 منبع مشخص از شواهد روایی می توان روایی را مورد بررسی قرار داد:
- محتوا
- پاسخ ها
- ساختار درونی
- ارتباط با سایر متغیر ها
- پیامد ها

12. محتوا:
طرح کلی آزمونblueprint
ویژگی های طراح سوال
کیفیت سوالات ازمون
مشخصات آزمون

13. پاسخ ها:
مثال: اگر آزمون از سه بخش سوالات چند گزینه ای-سوالت درست/نادرست و سوالات تشریحی کوتاه تشکیل شده و از یک نمره مرکب جهت نمره دهی استفاده شده است توجیه نحوه تعیین این نمره ترکیبی تا چه اندازه منطقی بوده است؟

14. ساختار درونی:
شامل ویژه گی های آماری ازمون است مثال:
نمراتی که به سوالات با محتوای مشابه داده می شود باید همبستگی بسیار بالایی با یکدیگر در قیاس با سوالاتی که سایر متغیر ها را اندازه می گیرند داشته باشد.

15. ارتباط با سایر متغیرها:
در اینجا با روش های آماری و بررسی همبستگی ارتباط نمرات بدست آمده از یک ازمون با یک ابزار ارزیابی قدیمی تر و جا افتاده تر که ویژه گی های آن کاملا شناخته شده است بررسی می شود(آیا با آزمون مشابه همان نمرات بدست می اید یا خیر)

16. پیامدها و عواقب:
در این بخش اثرات آزمون/نمرات/تصمیمگیری مبتنی بر آن/ پیامد ناشی از تصمیم گیری ها/اثرات بر روی بیماران و جامعه و..... مورد بررسی قرار می گیرد

17. عوامل تهدید کننده روایی آزمون
الف- ارائه ناکافی سازه:
- تعداد کم سوالات
- سوالات با حیطه آزمون سازگاری نداشته باشد
- پایایی نمرات پایین باشد

18. ب- متغیر های غیر مرتبط با سازه:
-سوال دارای خطای تکنیکی از نظر طراحی
-سوال دارای سو گیری:
سوال علاوه بر سنجیدن هدف اصلی از آزمون مطلب یا مطالب دیگری را نیز مورد سنجش قرار دهند
(مدل چند بعدی عملکرد متمایز سوال
بعد هدف یا اولیه/بعد ثانویه/بعد ثانویه کمکی)

19. - سوالات بسیار اسان یا بسیار سخت هستند یا قدرت افتراق آزمون شونده قوی و ضعیف را نداشته باشند.
-سوال موجب فریب آزمون شونده شود
- روش تعیین نمره قبولی قابل دفاع نیست

20. پایایی آزمون
منظور آن است که آیا نتایج آزمون دوباره قابل تکرار است یا خیر
(آزمون می تواند پایایی داشته باشد ولی روایی نداشته باشد
(آزمون می تواند هم پایایی داشته باشد و هم روایی
(آزمون میتواند نه پایایی داشته باشد و نه روایی
ولی آزمونی که پایایی ندارد روایی هم ندارد

21. معمولا پایایی را بصورت ضریب از 0 (اصلا پایایی ندارد) تا 1 (پایایی کامل دارد) تعریف می کنند. غالبا حد مورد قبول در آزمونها 8/0 می باشد.ولی هرچه اهمیت آزمون بالاتر باشد این ضریب نیز باید بالاتر باشد

22. عوامل موثر بر پایایی آزمون
- خطاهای محیطی:
مثلا آزمون شونده خسته باشد یا نسبت به آزمون آحساس مناسبی نداشته باشد
- خطاهای فرایندی:
خطاهایی که ممکن است در هنگام نمره دادن به سوالات /جمع نمودن نمرات سوالات و... اتفاق بیفتند

23. - خطاهای دسته بندی:
آزمون گیرندگان ممکن است بر روی نمره ای که می خواهند به یک آزمون شونده بدهند توافق نداشته باشند
مثال: در یک آزمون شفاهی یک آزمون گیرنده رفتار آزمون شونده را اضطراب و هیجان زیاد و آزمون گیرنده دیگر همان رفتار را بی حرمتی به استاد تفسیر کند

24. - خطاهای تعمیم دادن:
ممکن است آزمون گیرنده تمایل داشته باشد که نتیجه یک سوال خاص را بطور غیر منطقی به کل موارد تعمیم دهد
مثال: چون این دانشجو ضرب کردن را بلد نیست پس حتما جمع و تفریق را هم بلد نیست

25. - خطاهای سوگیری:
الف:وزن دادن- ممکن است یک ارزیاب به یک خصوصیت اهمیت و وزن بیشتری بدهد
ب:پیش قضاوت کردن ارزیاب- مثلا آزمون گیرنده از تیپ و قیافه آزمون شونده خوشش نیاید

26. ج:اثر هاله ای-یعنی برداشت کلی ارزیاب از آزمون شونده در مراحل گذشته بر نمره دهی وی در این مرحله خاص تاپیر گذارد
دال:آسان گیری و سخت گیری-برخی ممتحنین کلا آسان گیر و برخی سخت گیرند.

27. انواع روش های ارزیابی دانشجو
1-ارزیابی 360 درجه
Mini-peer assessment tool(mini- PAT)
یا ابزار ارزیابی مختصر توسط همکاران
Team assessment behaviour(TAB)
یا ارزیابی رفتار فرد توسط گروه

28. Chart stimulated recall oral examination-2
(CSR)
آزمون شفاهی با بخاطر آوردن به کمک پرونده

29. Global rating of live or recorded perf.-3
درجه بندی کلی بر مبنای مشاهده مستقیم عملکرد فرد یا عملکرد ضبط شده وی
OSCE-4

30. 5- کارنامه فنون تشخیصی درمانی/اعمال جراحی یا بیماران ویزیت شده
Patient survey-6
پرسیدن از بیماران

31. Portfolio-7
بازتاب مستند مجموعه عملکرد
Record review-8
مرور پرونده

32. Simulations and modules-9
بازسازی ها و بسته های آموزشی
Standardized oral examination-10
آزمون شفاهی استاندارد شده

33. Standardized patient examination(SP)-11
آزمون با بیماران استاندارد شده
Mini-clinical evaluation exer.(mini-CEX)-12
ارزیابی بالینی کوتاه

34. Direct observation of procedural skills-13
(DOPS)
مشاهده مستقیم مهارت های عملی(فنون تشخیصی-درمانی)
14-آزمون های کتبی

35. 1-آزمون های کتبی
یک آزمون مناسب یک نیمروز طول می کشد و 175 تا 250 سوال دارد
مورد ارزیابی:
دانش پزشکی

36. اگر آزمون برای گرفتن تصمیم در مورد قبولی یا ردی بکار می رود باید ابتدا بصورت پیلوت اجرا شودو از نظر آماری مورد تجزیه و تحلیل قرار گیرد
اگر به ازای هر عنوان پرسش های بیشتری در آزمون گنجانده شود پایایی آن افزایش می یابد

37. اگر تعداد سوالات بیشتر باشد پایایی آن افزایش می یابد
اگر قرار است عملکرد دستیاران از سالی به سال دیگر مقایسه شود باید حداقل 20تا 30 درصد سوالات هر سال تکرار گردد

43. Extended matching questions(EMQ)
:MCQمزیت نسبت به
احتمال آنکه آزمون شونده بر اساس شانس و حدس زدن پاسخ درست را بدهد کاهش می یابد
هر مجموعه چهار قسمت را شامل می شود
- یک موضوع فهرستی از انتخاب ها
- یک عبارت پرسشی حداقل دو پرسش

44. ارزیابی 360 درجه-2 توسط: افراد بالاتر از فرد افراد زیر دست
افراد هم سطح
بیماران
خانواده بیماران

45. حیطه های زیر را مورد ارزیابی قرار می دهد:
- توانایی کار گروهی
- توانایی ارتباط برقرار کردن
- مهارت های مدیریتی
- قدرت تصمیم گیری
مقیاس درجه بندی مثلا از 1 تا 5

46. بازخوردی که پس از ارزیابی توسط این ابزار به فرد مورد نظر داده می شود بهتر است دارای ویزگیهای زیر باشد:
1- چهره به چهره باشد
2- پیش از شروع گفتگو در این باره به فرد چند لحظه فرصت داده شود تا به نتیجه ارزیابی نگاه کند و از آن اطلاع یابد
3-به ارزیابی نقاط قوت و ضعف هر دو بپردازد

47. 4- به فرد اجازه اظهار نظر داده شود
5- خودارزیابی را در فرد ترغیب کند
نتیجه:
باید موارد مورد ارزیابی و نتایج ارزیابی برای فرد کاملا روشن و شفاف باشد و به اطلاع وی رسانده شود تا منجر به اصلاح گردد.

49. Mini-peer assessment tool(mini- PAT) یا ابزار ارزیابی مختصر توسط همکاران
در این روش فراگیر 8 ارزیاب را از میان استادان /دستیاران سال بالاتر/پرستاران مجرب و ارشد و.... انتخاب می کند.
فرم خود ارزیابی نیز باید تکمیل شود
این ارزیابی 2 بار در سال انجام می شود.

52. Team assessment behaviour(TAB) یا ارزیابی رفتار فرد توسط گروه
ابزار مناسبی برای ارزیابی تکوینی است زیرا هدف از آن تصمیم گیری نهایی در مورد فرد نیست
برای ارزیابی موارد زیر استفاده می گردد:
- مهارت های ارتباط بین فردی
- رفتارهای حرفه ای
- برخی جنبه های مراقبت از بیمار

53. ویژه گی های روان سنجی:
باید 5 تا 10 پرستار این فرمها را پر کنند ولی در مورد بیماران و استادان به تعداد بیشتری مورد نیاز است تا پایایی مناسب تا 9/0 داشته باشیم

54. مشکلات:
1-ساختن و تهیه پرسشنامه مناسب تا برای همه افرادی که آنرا پر می کنند مناسب باشد
2- جمع بندی و خلاصه کردن نتایج با توجه به تعداد بالای پرسشنامه ها

56. Chart stimulated recall oral examination-3 (CSR) آزمون شفاهی با بخاطر آوردن به کمک پرونده
در این ازمون از طریق بررسی پرونده بیماران ویزیت شده توسط دستیار کار وی در غالب یک آزمون شفاهی استاندارد مورد ارزیابی قرار می گیرد.

57. پرسش در مورد :
مراقبت های انجام شده از بیمار
علل درخواست آزمایشات و پاراکلینیک
تشخیص و تفسیر یافته های بالینی و برنامه های درمانی بیمار
باید پروتکل مناسبی جهت نمره دهی وجود داشته باشد

58. در این آزمون بررسی هر پرونده (که یک سوال محسوب می گردد)5 تا 10 دقیقه و یک آزمون کامل 2 ساعت به طول می انجامد.
مناسب تر است یک یا دو آزمون گیرنده وجود داشته باشد
مورد استفاده:
ارزیابی توانایی تصمیم گیری بالینی و کاربرد یا استفاده از دانش پزشکی در مورد بیماران واقعی

60. Global rating of live or recorded perf
تفاوت با سایر روش ها:
1- ارزیاب در مورد دسته های کلی از توانایی ها مانند مراقبت از بیمار/مهارت ارتباطی/دانش پزشکی و... و نه در موارد اختصاصی قضاوت می کند
2- بصورت گذشته نگر و بر اساس دید کلی ارزیاب در پایان دوره می باشد
3- مقیاس های درجه بندی کیفی هستند

61. مورد استفاده:
در پایان روتیشن ها می باشد.
ارزیابی توسط بیش از یک نفر صورت میگیرد(نقص پایایی)

62. ویژگی های روان سنجی:
مشکلات موجود با این فرمها :
- غیر عینی بودن ارزیابی
- نمره دادن بطور مشابه به تمام مهارت های فرد
- سخت گیری یا اسان گیری ارزیابان و ندادن نمره در دو سر انتهای طیف

65. OSCE

66. تعریف:برای ارزیابی و دادن بازخورد درباره مهارت های عملی است
Direct observation of procedural skills-6 (DOPS) مشاهده مستقیم مهارت های عملی(فنون تشخیصی-درمانی)
تعریف:برای ارزیابی و دادن بازخورد درباره مهارت های عملی است
فراگیر 6 کار عملی در طول سال انجام می دهد که ارزیاب و مشاهده گر در هر مورد متفاوت است
هر آزمون در مورد یک مهارت عملی ضروری است
زمان آزمون 15 دقیقه و زمان لازم جهت دادن بازخورد 5 دقیقه است
4تا6 بار در طول سال برگزار می گردد

68. 7- کارنامه فنون تشخیصی درمانی/اعمال جراحی یا بیماران ویزیت شده
تعریف:
این ابزار برخورد دستیار را با بیمار در مورد فنون تشخیصی- درمانی/عمل جراحی یا ویزیت بیماری که انجام داده است را مستند می کند
با استفاده از این ابزار می توان وسعت تجربه افراد را بررسی نمود تا دستیار را آگاه کرد که در چه زمینه هایی کارنامه وی ناقص است

69. - بدیهی است که ذکر تعداد موارد انجام شده لزوما به معنای دستیابی به مهارت کافی در آن زمینه نیست

70. Patient survey-8 پرسیدن از بیماران
به منظور ارزیابی رضایت بیماران از مراقبت های ارائه شده توسط دستیاران انجام می گیرد
سوالات شامل جنبه های عمومی مراقبت است:
-میزان زمان صرف شده جهت بیمار
-کیفیت کلی مراقبت انجام شده
-توانایی دستیار در دانش و مهارت
- ادب/علاقه و همدلی....

71. پرسش ها می تواند شامل جنبه های جزئی تر نیز باشد:
-مهارت شنیدن و دادن اطلاعات کافی
- توصیه ها در زمان ترخیص و
درجه بندی:
بد/نسبتا خوب/خوب/خیلی خوب/عالی و یا......

72. مثال:
دکتر من را معطل نگه داشت
- بلی/همیشه همینطور است
- بلی/گاهی اوقات اینطور است
- خیر/هرگز یا بندرت اینطور است

73. موارد استفاده:
ارزیابی مهارت های مراقبت از بیمار
رفتار حرفه ای
مهارت های بین فردی و....
حداقل لازم است تا 20 تا 40 بیمار به پرسشنامه ها پاسخ دهند تا پایایی 7/0 تا 82/0 حاصل گردد

74. ویژگی های روان سنجی:
- زبان و سواد بیماران
- تکمیل پرسشنامه به تعداد مناسب
- جدا کردن نقش دستیار در مراقبت از بیمار از سایر عوامل دخیل در این امر

75. Portfolio-9 بازتاب مستند مجموعه عملکرد
Port=portare=حمل کردن
Folio=folium=کاغذ و برگه
معنی: مدارک قابل حمل/کارپوشه/مجموعه عملکرد
بطور کلی مجموعه ای از کارهایی است که توسط دستیار انجام شده و به عنوان شاهدی بر یادگیری و موفقیت وی در برنامه است

76. بجز مستندات نوشته شده می تواند شامل فیلم/عکس/صدای ضبط شده و سایر اطلاعات نیز باشد
نکته: اندیشیدن درمورد اینکه چه چیزی یاد گرفته شده بخش مهمی از تهیه پورت فولیو می باشد
نکته: این ابزار هم برای ارزیابی و هم یادگیری کاربرد دارد

77. یک پورت فولیو نشان می دهد:
-چه چیزی یاد گرفته شده
- کاربرد آنچه یاد گرفته شده چیست
- نیاز های یادگیری کدام است
- چکونه می توان به این نیاز ها دست یافت

78. در آموزش پزشکی یک پورت فولیو شامل موارد زیر است:
1-کارنامه فنون تشخیصی – درمانی انجام شده
2- خلاصه ای از پژوهش هایی که دستیار آنها را مطالعه نموده و بر اساس آن درمانی را ارائه کرده است
3- یک پروزه ارتقای کیفیت و نتایج آن
4- معضلات و مشکلات اخلاقی که در هنگام کار با آنها برخورد نموده و روش حل آنهاو......

79. نکته: پورت فولیو اختصاص به فراگیران ندارد و می توان برای آموزش دهندگان نیز از آن استفاده کرد
مثال:مجموعه مستندات ترفیع و ارتقای اعضای هیات علمی

80. موارد استفاده:
ارزیابی مهارت هایی که ارزیابی آنها با دیگر روش ها دشوار است نظیر:
1- بهبود یافتن مبتنی بر طبابت
2- استفاده از شواهد علمی در مراقبت از بیمار
3- رفتار های حرفه ای
4- حمایت بیمار

81. بطور کلی پورت فولیو در آموزش پزشکی تخصصی می تواند شامل موارد زیر باشد:
1- برنامه یادگیری

82. 2- گواهی شرکت در دوره های آموزشی
3- گواهی مهارت های یاد گرفته شده
4- گزارش استادان بالینی در مورد دستیار
5- کنفرانس ها و سخنرانی های ارائه شده و

83. - روایی پورت فولیو به این بستگی دارد که تا چه اندازه مستندات گردآوری شده می توانند تسلط فرد را در امور مورد انتظار نشان دهد
-باید در مورد شاخص ها و استاندارد های لازم برای محتوای پورت فولیو توافق وجود داشته باشد

84. Record review-10 مرور پرونده
در این روش افراد آموزش دیده در یک بخش بالینی به مرور پرونده های بیماران می پردازند.این افراد بر اساس یک پروتکل مشخص به بررسی شاخص های از پیش تعیین شده در پرونده می پردازند .سپس یافته های بدست آمده با استاندارد های مورد قبول مقایسه می گردد.
نکته: آنچه در پرونده ثبت شده لزوما به معنای عملکرد دستیار به تنهایی نیست / بلکه بازتاب عملکرد تیم درمان است. بررسی 8-10 پرونده کافی است.

85. Simulations and modules-11 بازسازی ها و بسته های آموزشی
این بازسازی ها به قصد تقلید واقعیت ساخته می شوند
ویژگی های کلیدی این بازسازی ها عبارتند از:
1- شرایط حقیقی را تقلید می کنند
2- آزمون شوندگان می توانند به استدلال در مورد یک مشکل بالینی بپردازند
3- به آزمون شوندگان امکان انجام اشتباهات فاجعه بار را می دهد(بدون به خطر افتادن جان بیماران واقعی)

86. 4- بازخورد فوری به آزمون شوندگان داده می شود
5- امکان ارزیابی دانشجو در مشکلاتی بالینی فراهم می شود که امکان ارزیابی موثر آن در دیگر شرایط وجود ندارد و یا مشکل است.

87. انواع بازسازی ها:
1- پاسخ دادن به سوالات درباره بیمار بصورت مرحله به مرحله روی کاغذ و با انتخاب گزینه درست از میان فهرستی از گزینه هاو سپس کسب امتیاز :
Patient management problem(PMP)
و نوع کامپیوتری آن:
Clinical case simulations(CCX)

88. 2- موقعیت های ایفای نقش(بیماران استاندارد شده /بازسازی تیم بالینی)
3- مدل ها یا مانکن های آناتومیک
4- ترکیبی از موارد فوق
در بازسازی ها با محیط های شبه واقعی از کامپیوتر گاهی همراه با مدل واقعی استفاده می شود
Virtual reality simulations or environ.(VR)

89. Standardized oral examination-12 آزمون شفاهی استاندارد شده
جهت ارزیابی عملکرد استفاده می شود
از بیماران واقعی و استادی که برای این امر آموزش دیده استفاده می شود
آزمون گیرنده بر بالین بیمار حقیقی یک مسئله بالینی را در مورد بیمار را مطرح و از آزمون شونده می خواهد تا آنچه برای رسیدگی به این بیمار لازم است را شرح دهد

90. در آزمون های خوب طراحی شده:
- هر سناریو 3-5 دقیقه طول می کشد
- هر آزمون کامل حداقل 90 دقیقه و حد اکثر 5/2 ساعت طول می کشد که شامل 2-4 جلسه آزمون 30 تا 60 دقیقه ای است
یک یا دو پزشک آزمون گیرنده هستند
شاید یک آزمون شونده در مورد مورد بالینی مختلف ارزیابی گردد

91. Standardized patient examination(SP)-13 آزمون با بیماران استاندارد شده
بیماران استاندارد شده افراد سالم و آموزش دیده هستند
از بیماران واقعی نیز پس از آموزش آنها می توان استفاده کرد
زمان صحبت آزمون شونده با بیمار دقیقه طول می کشد
برای انجام آزمونی پایا 4 ساعت زمان لازم است

92. Mini-clinical evaluation exer.(mini-CEX)-14 ارزیابی بالینی کوتاه
آزمونی برای ارزیابی مهارت های بالینی و دادن بازخورد بر روی عملکرد در همان زمان بکار می رود
روش:
یک استاد دستیار را در هنگام تعامل با بیمار ( دربیمارستان/ اورژانس یا درمانگاه) مشاهده می کند.
آزمون معمولا 15 دقیقه و دادن بازخورد آن 5 دقیقه طول می کشد

93. تمام مهارت ها در فرم بر اساس یک مقیاس 6 درجه ای امتیاز داده می شوند
- 1و2 کمتر از حد انتظار
- 3 لب مرزی
-4 در حد انتظار
- 5و6 بالاتر از حد انتظار

94. بازخورد فوری باید ارائه شود و نقاط قوت ذکر شده وپیشنهاد به آزمون شونده در مورد نحوه بهتر شدن داده شود.

95. این آزمون حدود 2 ساعت به طول می کشد.
موارد استفاده:
- شرح حال
- معاینه فیزیکی
- رفتار حرفه ای
- قضاوت بالینیو...