1. הערכת משתנים שאינם קוגניטיביים במרכז הערכה למיון מועמדים לרפואה
שנתיים ראשונות
נעמי גפני, אביטל מושינסקי, אורית רובין, אבי אללוף,
ראובן סטולר, משה מיטלמן, אמיתי זיו

2. אוניברסיטת תל אביב: הפקולטה לרפואה
ע"ש סאקלר ויחידת המיון והמחקר
המרכז הארצי לסימולציה רפואית (מסר)
מרכז ארצי לבחינות ולהערכה

3. הגדרת המטרה מיון מועמדים לבית הספר לרפואה -
פיתוח תחליף לריאיון לבחירת המועמדים המתאימים ביותר ללמוד רפואה ולעסוק בה מתוך כלל המועמדים לבתי ספר לרפואה בישראל
נתונים
משתנים קוגניטיביים: בגרות ובחינה פסיכומטרית
חסרים
משתנים לא קוגניטיביים

4. בעיות הגלומות במטרה
הקושי להגדיר את הממדים השונים של דמות הסטודנט המבוקש ללימודי רפואה ודמות הרופא הטוב
הקושי להגדיר אופרציונאלית (התנהגותית) ממדים אלו
בחירת כלי מיון מתאים על פי הממדים שהוגדרו

5. התכונות הרצויות לתפקיד הרופא
גישה אתית
יושר
אחריות מקצועית
אמפתיה
תודעת שרות
מחויבות לחולה
כשרי תקשורת בין-אישית
ביטחון עצמי
רגישות אנושית
יכולת אבחנה בפרטים
היכולת לזהות צורך בעזרה, לחפש עזרה ולקבל עזרה
פתיחות
יוזמה
יחס לסמכות
מודעות עצמית
בשלות
יכולת עמידה בלחצים

6. מבנה מרכז ההערכה סימולציות שאלון ביוגראפי שאלון שיפוט והחלטה 120 דקות
105 דקות
45 דקות
8 תחנות התנהגותיות
21 שאלות
3 דילמות
כישורי תקשורת
שאלות פתוחות קצרות בנוגע לפרטים אישיים, תחביבים, עיסוקים והישגים בעברו של המועמד
תיאורים קצרים של סיטואציות הכוללות דילמה מוסרית, שהמועמד יתבקש להכריע בהן תוך פירוט התהליך בכתב.
עמידה בלחצים
יוזמה ואחריות
מודעות ומצפוניות

7. דוגמא למימד כישורי תקשורת
תקשורת בין אישית
היכולת להעביר מסר בצורה ברורה קוהרנטית
שמירה על גבולות (שמירה על יחסי כבוד כלפי הזולת)
יכולת המועמד לעורר אמון (העברה כנה של כוונותיו ומגבלותיו)
יכולת ההקשבה (הקשבה עניינית, בתשומת לב, מבלי לקטוע)
פתיחות וגמישות לדעתו ולעמדתו של הזולת
יכולת לנהוג ברגישות ולהביע אמפטיה כלפי הזולת

8. יתרונותיו של מרכז ההערכה
דגימה מרובה ובלתי תלויה של התנהגויות
ריבוי בוחנים שונים ובלתי תלויים
מחוון אחיד - ממתן ומאזן הטיות של הבוחן
סטנדרטיזציה של התנאים, המשחק, השאלות
התרחישים נבנים כך שייצגו ככל שניתן מצבים אמיתיים ורלבנטיים
למועמדים ניתנת הזדמנות לתקן רושם "שלילי"
העברת מסר למערכת הרפואית על חשיבות המשתנים הלא קוגניטיביים – גיוס רופאים נלהבים מתוך המערכת

9. בעיות במרכז הערכה
בניית תכנים מקבילים, זימון אקראי לימי ההערכה ותקנון בכל יום
הכשרת מעריכים וקריטריונים ברורים להערכה
תמרון בין ריבוי התצפיות לבין שמירה על אי תלות הדדית
תמרון בין אילוצים לוגיסטיים לבין הרצון לדייק ככל האפשר
מחדשים נוסחים
קריטריונים מפורטים לכל מימד והכשרת המעריכים
בניית נוסחים מקבילים
הטיות מעריך
קביעת מספר המעריכים
קביעת מספר התחנות
כיצד משפיע אימון על הביצוע?
אילו מימדים לכלול והאם ניתן להבחין ביניהם?

10. בעיות במרכז הערכה יש מימדים שאיננו מודדים כמו יושר
קריאה ביקורתית של התכנים שנועדה להתמקד בנושא ההוגנות ע"י אנשים שונים
הפעלת שיטות שונות
איסוף ראיות לאורך זמן
תוקף תוכן – מה אנו מודדים ומה איננו מודדים?
הוגנות כלפי קבוצות שונות: מין, גיל, קבוצות אתניות
הערכת מהימנות המדידה
הערכת תוקף המדידה

11. תוצאות

12. נתונים דמוגראפיים 283 נבחנים בשנה הראשונה ו- 280 נבחנים בשנה השנייה
283 נבחנים בשלושה ימי הערכה ו- 280 נבחנים בארבעה ימי הערכה
גיל ממוצע: בערך 20
כ- 50% נשים וכ- 50% גברים
כ- 75% דוברי עברית, 20% דוברי ערבית ו- 5% אחרים
Four dimensions were examined in the stations:
1. Interpersonal communication (39 items in all eight stations)
2. Functioning under pressure (15 items in stations 3, 4, 6, 7, 8)
3. Initiative, responsibility, and leadership (10 items in stations 3, 4, 6, 7, 8)
4. Conscience, values, and awareness (7 items in stations 1, 3, 4, 5)

13. חישוב הציונים בתחנות א. תחנות ב. מימדים
כל הערכה ניתנה בסולם 1-6(1- נמוך ביותר; 6 – גבוה ביותר). כאשר ההערכה התבססה על שני מעריכים, הציון הוא ממוצע ההערכות
ב. מימדים
לכל מועמד חושבו ציונים בארבעת המימדים – סכום ציוניו בארבעת המימדים מעבר לתחנות

14. תהליך ההערכה בכל תחומי הבחינה – סדנאות למעריכים
אנונימיות הנבחנים נשמרת
הערכה התבצעה במסר. בשלוש תחנות מתוך השמונה היו 2 מעריכים
תחנות הערכה
2 הערכות לשאלון. השתתפו 10 מעריכים. אם יש פער חריג, ניתן השאלון למעריך שלישי
שאלון ביוגראפי
2 הערכות לכל דילמה. השתתפו 9 מעריכים. אם יש פער חריג, ניתן השאלון למעריך שלישי. מתוך 6 הערכות לנבחן מכסימום 2 בוצעו ע"י אותו מעריך
שיפוט והחלטה

15. עקרונות בחישוב הציונים
כל אחד מהציונים מחושב בסולם בעל ממוצע 200 וסטיית תקן 20.
טווחי הציונים 150 עד 250
משקלות לציון הסופי (מו"ר): תחנות, 60% שיפוט והחלטה 20% , ביוגראפי 20%

16. הציונים המחושבים ארבעה ציונים לכל אחד מארבעה מימדים שנבדקו בתחנות
ציון כללי לתחנות הסימולציה שמבוסס על ממוצע משוקלל של ארבעת המימדים
ציון לשאלון שיפוט והחלטה
ציון לשאלון אישי ביוגראפי
ציון כללי מו"ר המבוסס על ממוצע משוקלל של הציונים בשלושת הסעיפים הקודמים
ציון כללי סופי המחושב ע"י האוניברסיטה

17. מספר הנבחנים, ממוצע, ס.ת., מינימום ומקסימום ציוני התקן במור עבור השנה הראשונה
מקס.
מיני.
ס.ת.
ממוצע N
ציון
240
151 19
200
283
מור
(150 – 250)
797
680 25
740
276
פסיכומטרי
( )
757
702 11
722
271
סכם
As is evident, the average score in the psychometric examination is very high, and the variance is very low (approximately one-fourth of the standard deviation for the scores of all examinees, which is approximately 100).

18. מספר הנבחנים, ממוצע, ס.ת., מינימום ומקסימום ציוני התקן במור עבור השנה השנייה
מקס.
מינ.
ס.ת.
ממוצע N
ציון
239
154 19
200
280
מור
(150 – 250)
800
675 26
738
279
פסיכומטרי
( )
768
699 10
728
סכם
As is evident, the average score in the psychometric examination is very high, and the variance is very low (approximately one-fourth of the standard deviation for the scores of all examinees, which is approximately 100).

19. ממוצע מתאמים (מעבר לשנתיים) בין מרכיבי מור עבור קבוצת הנבחנים בעברית
PET
מור
ביוגראפי
שיפוט
תחנות
1.00
0.06
שיפוט והחלטה
0.29
0.17
0.48
0.37
0.91
0.13
0.05.
0.15
0.12
0.40
0.05
0.02
0.08
סכם
The question thus arises as to whether the group composition had an impact on this pattern of correlations. Examination of the correlations within the group of examinees in the psychometric examination in Hebrew and among the group of examinees in Arabic shows that the correlations between the MOR score and the cognitive variables are indeed negligible within each language group. The correlation in the last table, then, is a function of the composition of the total group of examinees and of the variance between the groups in the psychometric score, mean matriculation score, and the general MOR score. Analysis of the correlations between variables within each language group confirms the hypothesis that the cognitive variables are not correlated with the non-cognitive variables measured in MOR.

20. מהימנות – יציבות הציונים
בספרות מהימנות של כלים דומים: 0.7 – 0.8
שיטות לאמידת מהימנות:
מבחן – מבחן חוזר: (N = 34)
מהימנות פנימית – מקדם קרונבך אלפא
מהימנות בין מעריכים
שיטות מבוססות על תורת ההכללה
MOR has a relatively complex structure, and the question arises as to how to calculate its reliability. The reliability index reflects the extent to which the various scores are consistent. Different sources influence the calculated estimates, some reflecting real variance among the candidates and others reflecting erroneous variance. The greater the number of stations, the more reliable the score should be; similarly, the greater the number of items on the assessment forms at each station, the greater the reliability (assuming positive correlation between the items). The less the various components are dependent upon one another (in procedural terms), yet remain coordinated, the greater their marginal contribution. Mutual dependence of different components may create an illusion of high correlation, with the halo effect making certain dimensions appear more correlated than they would had each dimension been assessed by an independent assessor. Given the complexity of the calculated scores, reliability was calculated in several ways. The current MOR apparatus did not facilitate calculation of generalizability coefficients by means of which the contribution of different factors to error variance might be examined simultaneously.

21. אומדני מהימנות פנימית: קרונבך אלפא של שלושת רכיבי מור
2005
2004
משקל
רכיב
0.63
0.67 6
תחנות סימולציה
0.61
0.66 2
שיפוט והחלטה
שאלון ביוגראפי
0.75
0.78
מור
The table shows the weight of each of the MOR components and its reliability on each of the three assessment days. The reliability of each dimension was calculated using the Cronbach alpha formula, based on the total of the relevant assessment items for each dimension at each station (accordingly, the scores used as the basis for calculating reliability were the total item scores for each dimension according to the number of stations at which that dimension was assessed – a maximum of eight such totals). The estimated reliability of the simulation stations is based on the estimated reliability of the dimensions. This may be somewhat exaggerated due to the halo effect, which influences the correlations between the dimensions and hence the reliability of the stations (weighted average of four dimensions). In any case, it may be seen that in almost all cases, reliability is higher for Days 2 and 3 than for Day 1 – a result that may be attributed to learning and experience accumulated by the station examiners and the questionnaire assessors.

22. מהימנות בין מעריכים תחנות חציון המתאם בין המעריכים = 0.58
מקדם המהימנות המתוקן לשני מעריכים: 0.72
שיפוט והחלטה (חציון 3 דילמות X 3 ימים)
חציון מתאם בין מעריכים = 0.72
שאלון ביוגראפי (3 ימים)
חציון המתאם = 0.94

23. תוצאות מו"ר בקרב גברים ונשים

24. משתנה ממוצע סטיית תקן תחנות סימולציה 202 197 שאלון שיפוט והחלטה 199
גברים
N = 121
נשים
N = 132
משתנה
ממוצע
סטיית תקן
תחנות סימולציה
202 18
197 21
שאלון שיפוט והחלטה
199 17
201 20
שאלון אישי ביוגראפי
מו"ר
פסיכומטרי
736 24
744 25
ציון סכם
723 10 11

25. נמצאו פערים קטנים לטובת הנשים בכל המשתנים
שנכללו במו"ר (0.1 – 0.25 סטיית תקן) למעט
שאלון שיפוט והחלטה.
הפער הגדול ביותר נמצא בציון הכללי לתחנות
הסימולציה.
פער של כשליש סטיית תקן נמצא לטובת הגברים
בבחינה הפסיכומטרית.
לא נמצא הבדל בין הקבוצות בציון הסכם.

26. 1-כלל לא, 2-במידה מועטה, 3-במידה רבה, 4-במידה רבה מאד
משובי הנבחנים
באיזו מידה הרגשת שהצלחת לבטא את יכולותיך כמועמד במילוי השאלון האישי הביוגראפי?
2.4
באיזו מידה הרגשת שהצלחת לבטא את יכולותיך כמועמד במילוי שאלון שיפוט והחלטה?
2.9
באיזו מידה הרגשת שהצלחת לבטא את יכולותיך כמועמד בתחנות הסימולציה עם שחקן?
3.0
באיזו מידה הרגשת שהצלחת לבטא את יכולותיך כמועמד באופן כללי במרכז ההערכה?
באיזו מידה המיון ללימודי רפואה באמצעות מערכת מור הוא תהליך מיון הוגן?
1-כלל לא, 2-במידה מועטה, 3-במידה רבה, 4-במידה רבה מאד

27. בנוגע לכל אחד מכלי המיון הבאים, הערך עד כמה הוא הוגן ומתאים למיון מועמדים ללימודי רפואה: 1-כלל לא, 2-במידה מועטה, 3-במידה רבה, 4-במידה רבה מאד 1
ציוני הבגרות
3.1 2
ציון במבחן הפסיכומטרי
3.0 3
ראיון אישי
3.4 4
תחנות סימולציה עם שחקנים
2.9 5
תחנות קבוצתיות
2.6

28. מסקנות ותיקוף המערכת תהליך הציינון ודיווח הציונים ארך כ- 3 עד 4 שבועות
מהימנות הציון במרכז ההערכה עומדת בסטנדרטים מקובלים
בעקבות התהליך השתנה הרכב המתקבלים בכ- 20%
תכנון איסוף הנתונים לבדיקת תוקף כלי המיון:
מחקר אורך של הערכת ביצועי התלמידים החל מהשנה הראשונה ללימודים במסגרת שיעורים "לא קוגניטיביים" בשלבים שונים: פרה- קליני, קליני, סטאז', התמחות

29. בעיות בתיקוף המערכת הגדרת מימדי הקריטריון במסגרת של תפקידים ספציפיים
מדידת ממדי הקריטריון באופן מהימן: הקושי למצוא מספר מעריכים, הקושי להשיג סטנדרטיזציה
מידת האפקט הצפוי של השימוש בכלי המיון ה"חדש" לאור המשקל שניתן לו בתהליך הקבלה
אפקט המערכת והזמן החולף על התנהגות התלמידים
קשיים לוגיסטיים במעקב (איתור הנבדקים)