بسمه تعالی تحليل سوالهاي آزمون Dr Mirjalili

تحليل سوالهاي آزمون چند گزينه ای

هدف از تحليل سوالهاي آزمون وارسي تك تك سوالها و تعين ميزان دقت و نارسايي هاي آنهاست در تحليل سوالهاي آزمون ، نقاط قوت و ضعف يك آزمون و كيفيت همه سوالهاي آن تعيين ميشود بنابراين لازم است كه معلمان ، پس از اجراي هر آزمون ، سوالهاي آن را تحليل كنند و با استفاده از نتايج حاصل به تجديد نظر درآزمون و بهبود كيفيت سوالها براي استفاده هاي بعدي اقدام نمايند.

اطلاعات مورد نياز براي تحليل سوالهاي يك آزمون پاسخهايي هستند كه آزمون شوندگان به هر سوال چند نفر گزينه درست را انتخاب كرده اند ، هر يك از گزينه هاي انحرافي چند نفر را به خود جلب كرده است ، و چند نفر آن را بي جواب گذاشته اند .

اطلاعات موجود كه براي تحليل يكي از سوالهاي آزمون و محاسبه شاخصهاي آماري آن سوال ضروري هستند از طريق تعيين دو گروه قوي (بالا) و ضعيف (پايين) اطلاعات براي تك تك سوالاي هر آزمون ضروري هستند .

براي تعيين گروههاي بالا و پايين برگه هاي آزمون را به ترتيب نمره اي كه گرفته اند از كوچك به بزرگ مرتب كنيد . بعد از بالاترين نمره شروع كنيد و تعداد برگه هايي را كه مي خواهيد در گروه بالا قرار دهيد انتخاب كنيد و به همين ترتيب از پايين ترين نمره شروع كنيد و تعداد برگه هايي را كه مي خواهيد در گروه پايين قرار دهيد نيز برگزينيد

متخصصان از آزمون سازي (از جمله ويتني و سيبرز ، 1970، و نيتكو 1983 ) پيشنهاد كرده اند كه اگر تعداد كل دانش آموزاني كه در آزمون شركت كرده اند (يعني تعداد كل برگه هاي آزمون ) بيشتر از 20 و تا 40نفر هستند ، 10 برگه بالا و 10 برگه پايين را انتخاب كنيد و كاري به بقيه برگه ها نداشته باشيد . اگر تعداد دانش آموزان 20 نفر يا كمتر است ، برگه هاي آزمون را كلاً به دو دسته بالا و پايين تقسيم كنيد . در شرايط كه تعداد كل آزمون شوندگان بيش از 40 نفر است بهترين رقم براي گروه بالا و پايين 27% كل برگه هاست . اين رقم براي شرايط كه نمرات داراي توزيع بهنجار باشند پيشنهاد شده است ، اما براي آزمونهاي كلاسي هر يك از ارقام 25 تا 33 درصد به عنوان تعداد برگه هاي گروه بالا يا پايين مناسب است .

تحلیل سئوالات آزمون 1- ضریب دشواری 2- ضریب تمیز 3- تحلیل گزینه های انحرافی

ضریب دشواری Difficulty Index تعریف درصدی ازافرادکه به سئوال جواب درست داده اند مطلوب درجه دشواری درآزمون های پیشرفت تحصیلی 7/- 3/ است سئوال دشوار سئوال آسان 1

100 تعدادافرادگروه بالا + تعدادافرادگروه پائین انتخاب های درست گروه بالا+ انتخاب های درست گروه پائین ضریب دشواری سئوال = تعدادافرادگروه بالا + تعدادافرادگروه پائین 100

Discrimination Index ضريب تميز تعریف ضریب تمیزقدرت سئوال رادرتشخیص بین گروه قوی وگروه ضعیف آزمون شوندگان مشخص می کند یعنی معلوم می نماید که سئوال تاچه اندازه می تواند گروه قوی راازگروه ضعیف تشخیص دهد

D= تعداد افراد یک گروه (بالا یاپائین) انتخاب های درست گروه پائین – انتخاب های درست گروه بالا D= تعداد افراد یک گروه (بالا یاپائین)

مثال: مشخصات پاسخ به يكي از سؤالهاي آزموني با 60 نفر شركت كننده به قرار زير است با توجه به اينكه گزينه صحيح سؤال B بوده است ضريب تمیز اين سؤال را محاسبه نمائيد.

E D C B A گزينه‌ها 3 13 1 دانشجويان بالاي كلاس 7 دانشجويان پايين كلاس 10 16 4 جمع

تفسیرضریب تمیز هرقدرضریب تمیزبزگترباشدقوه تمیزآن سئوال بیشتروهرقدر این ضریب کوچکترباشد قوه تمیزآن کمتراست مثلا اگرضریب تمیزسئوالی 90/ باشدآن سئوال آزمون شوندگان قوی وضعیف راخیلی خوب ازهم جداخواهدکرد امااگراین ضریب 10/ باشدآن سئوال ازعهده جداسازی دانشجویان قوی وضعیف به خوبی برنخواهدآمد ضریب تمیزصفرحاکی ازاین است که سئوال به هیچ وجه نتوانسته بین گروه قوی وضعیف تمایزقائل شود

مقادیرمطلوب ضریب تمیز سئوالات بسیارخوب تقریبا خوب 4/ وبالاتر تقریبا خوب 39/-30/ سئوالاتی که احتیاج به تجدید نظردارند 29/-20/ سئوالات ضعیف که به تجدید نظرنیاز دارند ویا باید حذف شوند زیر19/

رابطه ضریب تمیز و ضریب دشواری

بایددقت کنیم که تنهادرصورتی ضریب تمیزبه حداکثریا1+می رسدکه ضریب دشواری برابر5/ یعنی درحدوسط باشد درنتیجه سئوالهای خوب یک آزمون آنهائی هستندکه دارای ضریب دشواری متوسط وضریب تمیزبالائی باشند

فلوچارت تحلیل سئوالات آزمون

بلی آیا ضریب تمیز 30یا بالاتراست؟ بلی خیر خیر سئوال باید تجدیدنظر شود مقدارضریب دشواری چقدراست ؟ سئوال مناسب وموردتائید است بلی آیا مقدارضریب دشواری بین 70-30 است ؟ آیا ضریب تمیز 30یا بالاتراست؟ بلی خیر خیر آیا ضریب تمیز 30یا بالاتراست؟ سئوال باید تجدیدنظر شود خیر بلی سئوال مناسب وموردتائید است سئوال باید تجدیدنظر شود

تحلیل گزینه های انحرافی

هدف از قرار دادن گزينه ي انحرافي در سؤال ها منحرف کردن آزمون شوندگاني است که جواب درست سؤال را نمي دانند . بنابراين در صورتي يک سؤال به خوبي عمل مي کند که افراد ضعيف بيشتر از افراد گروه قوي گزينه هاي انحرافي آن سؤال را انتخاب نمايند

دریک آزمون جواب های داده شده به شرح زیراست الف 27 21 40 104 سئوال 1 157 5 6 9 سئوال 2 35 79 38 سئوال 3 1 19 11 160 سئوال 4 32 58 84 18

روايي آزمون (validity)

تعريف اصطلاحي است كه به هدفي كه آزمون براي تحقق بخشيدن به آن درست شده است ،اشاره مي كند.

آزموني داراي روايي است كه براي اندازه گيري آنچه مورد نظر است ، كافي و مناسب باشد.

انواع روايي آزمون روايي محتوايي(content-related validity) روايي صوري روايي ملاكي(روايي معيار) روايي پيش بيني روايي همزمان روايي سازه

1- روايي محتوايي (content-related validity) آيا سؤال هاي آزمون از محتواي درس يا موضوع مورد نظر يك نمونه خوب ارائه مي دهند؟

ازآنجا كه هيچ آزموني نمي تواند تمام محتوا و كليه هدف هاي يك درس راشامل شود ،هر آزمون از مجموعه اي سؤال كه به عنوان نمونه اي از تمام محتوا و هدف هاي آموزشي درس انتخاب شده است ،تشكيل مي يابد.

روايي محتوايي به اين مطلب اشاره مي كند كه نمونه سؤال هاي موجود در يك آزمون تا چه حد معرف كل جامعه سؤال هاي ممكن است كه مي توان از محتوا يا موضوع مورد نظر تهيه كرد. هرچه آزمون از اين لحاظ بهتر باشد، داراي روايي بيشتري است.

چگونه آزموني بسازيم كه روايي محتوايي بالايي داشته باشد؟ بااستفاده از جدول مشخصات آزمون

جدول مشخصات آزمون (Table of specifications) يك جدول دوبعدي است: 1- بعد افقي: محتواي آموزشي مورد نظر 2- بعد عمودي :سطوح حيطه شناختي(دانش ، ادراك ، كاربرد، تجزيه و تحليل،..)

تجزيه و تحليل كاربرد درك دانش 0سؤال 1سؤال 2سؤال نارسايي قلب شوك م سطوح محتواي آموزشي 0سؤال 1سؤال 2سؤال نارسايي قلب شوك مسموميت با ديگوكسين

روايي صوري(ظاهري) Face validity روايي صوري از مشتقات روايي محتوايي است . روايي صوري به اين مطلب اشاره مي كند كه سؤال هاي يك آزمون تا چه حد در ظاهر شبيه به موضوعي هستند كه براي اندازه گيري آن تهيه شده اند.

عوامل دروني 1- دستورالعمل يا راهنماي آزمون 2-کيفيت سؤالات آزمون: آزموني كه سؤالات آن ضعيف ساخته شده باشد،روايي پاييني خواهدداشت. 2-کيفيت سؤالات آزمون: 3- ترتيب قرارگرفتن سؤال هاي آزمون: (نبايد سؤال هاي دشوار در آغاز آزمون قرارداده شوند). آزمون هايي که داراي مجموعه سؤال هاي بسيار دشوار يا بسيار ساده هستند ، از سطح روايي خوبي برخوردارنيستند. 2

عوامل بيروني 1- اجراي ضعيف ونامناسب آزمون:مانند کمبود زمان ، فضاي نامناسب،مکان نامناسب،...از عوامل اجرايي هستند که برعملکرد آزمون شوندگان و در نتيجه برروايي آزمون تاثير نامطلوبي مي گذارند. 2- اشکالات موجود در تصحيح پاسخ هاي آزمون شوندگان و نمره گذاري(به ويژ ه در آزمون هاي تشريحي)

پايايي آزمون Reliability))

تعريف پايايي به دقت ،اعتمادپذيري ثبات ،يا تکرار پذيری نتايج آزمون اشاره مي کند.

رابطه بين روايي و پايايي ازاين قرار است که يک آزمون بايد پايا باشد تا بتواند روا باشد. اگر آزموني در هر بار اجرا برروي تعدادي آزمون شونده نتايج مختلفي به دست دهد ، آن آزمون يک آزمون پايا نخواهد بود و در واقع هيچ چيز را به درستي اندازه نخواهد گرفت و اگر يک آزمون چيزي را به درستي اندازه گيري نکند، هيچ اطلاع مفيدي به ما نخواهد داد.

پايايي شرط روايي است اما روايي براي پايايي ضروري نيست.

روش هاي تعيين پايايي 1- روش پايايي مصححان 2- روش بازآزمايي 3- روش فرم هاي موازي يا هم ارز 4- روشهاي همساني دروني : الف- روش دو نيمه کردن آزمون ب-روش کودر- ريچاردسون ج-روش ضريب آلفاي کرانباخ

”ضريب پايايي“ ارقامي از 0تا 1 راشامل مي شودو هرچه ضريب پايايي كوچك تر باشد،نشان دهنده پايايي كمترو هر چه اين ضريب بزرگتر باشد حاكي از پايايي زيادتر آزمون است.

1 - شاخص پايايي مصححان (examiners reliability) براي تعيين پايايي آزمون هاي تشريحي يا به طور کلي آزمون هاي غير عيني که نمرات آنها تحت تاثير قضاوت مصححان قرار مي گيرد،بايد از دو يا چند مصحح که مستقلا پاسخ هاي آزمون شوندگان راتصحيح مي کنند، استفاده کرد همبستگي بين نمرات مصححان مختلف شاخص پايايي مصححان به حساب مي آيد.

3- فرم هاي موازي يا هم ارز دو آزمون موازي يا معادل براي يک مطلب يا موضوع تهيه مي کنند و آنها رادر فاصله زماني کوتاهي به يک گروه واحداز آزمون شوندگان مي دهند.

روش هاي همساني دروني 4- 1- روش دونيمه کردن (split-halves) آزمون مورد نظر را يک بار با گروه واحدي از آزمون شوندگان اجرا مي کنيم و پس از اجرا، آن را به دو نيمه تقسيم مي نماييم . در اين روش بهترين راه دونيمه کردن آزمون اين است که همه سؤال هاي فرد را يک آزمون حساب آوريم و همه سؤال هاي زوج را آزمون ديگري بدانيم . ضريب همبستگي حاصل از نمرات دو نيمه آزمون ضريب پايايي هر يک از دونيمه خواهد بود.

ميزان رابطه ي دو دسته نمره متعلق به گروه واحدي از آزمون شوندگان را با محاسبه ضريب همبستگي مشخص مي کنند.  متداول ترين روش تعيين همبستگي ،روش محاسبه ضريب همبستگي پيرسون است.

نتيجه حاصل، ضريب پايا يي کل آزمون خواهد بود. براي محاسبه ضريب پايايي کل آزمون ، ضريب همبستگي بين نيمه ها رادر فرمول زير که به فرمول اسپير من – براون شهرت دارد ، قرار مي دهيم. نتيجه حاصل، ضريب پايا يي کل آزمون خواهد بود.

- روش هاي همساني دروني - روش ضريب آلفاي کرانباخ اين روش در شرايطي بکار مي رود که: 1- نمرات سؤال ، نه به صورت دوارزشي صفر و يک ،بلکه به صورت چند ارزشي (از 1 تا 5 به صورت کاملا موافق تا کاملا مخالف)تعيين مي شود.در اين گونه موارداستفاده از KR20 مناسب نمي باشد. 2- زماني که يک آزمون از تعدادي خرده آزمون يا بخش هاي مختلف تشکيل شده است.

- روش هاي همساني دروني - روش کودر-ريچاردسون در اين روش آزمون تنها يک بار اجرا مي شود،اما همه ماده هاي آزمون تحليل مي شوند.

محاسبه پايايي به روش کودر – ريچاردسون 20 Kuder –Richardson 20

فرمول کودر – ريچاردسون 20

راه اول(بهتر) براي محاسبه انحراف استاندارد:

عوامل مؤثر برپايايي آزمون 1- با افزودن برتعدادسؤالات يك آزمون پايايي آن افزايش مي يابد. 2- با متجانس تر وهمگون تر كردن سؤالات يك آزمون ،پايايي آن بيشتر مي شود. 3- با افزودن تعدادي سؤال با ضريب تميز زياد به يك آزمون پايايي آن بالا مي رود.

4- با افزودن تعدادي سؤال با ضريب دشواري متوسط به يك آزمون پايايي ،پايايي آن افزايش مي يابد. 5- اگر يك آزمون رادرمورد گروهي ازافراد كه ازنظر توانايي مورد سنجش تجانس كمتري با يكديگر دارنداجراكنيم،آزمون پايايي بيشتري نشان خواهدداد. 6- معمولا آزمون هاي سرعت ضريب پايايي بيشتري را نسبت به آزمون هاي قدرت نشان مي دهند.