بناء الاختبارات في ضوء مخرجات التعلم

ما تَوقعاتُك؟

بنهاية ورشة العمل، سيكون المشاركون قادرين علي: أهدافُ ورشةِ العمل بنهاية ورشة العمل، سيكون المشاركون قادرين علي: -التعرف علي ماهيةالاختبار, أهميته,مواصفاته و خطوات بنائه -تصنيف مخرجات التعلم تبعا لتصنيف بلوم - مناقشة عناصر جدول المواصفات - التعرف على بعض أنواع الفقرات الأختبارية، والمقارنة فيما بينها. -كتابة فقرات اختبارية في تخصصاتهم.

ماذا نقصد بالاختبار التحصيلي ؟ Achievement test يُقصد بالاختبار التحصيلي أنه : أداة تستخدم لتحديد مستوى كسب المتعلم لمعلومات ومهارات في مادة دراسية كان قد تم تعلمها مسبقاً بصفة رسمية، من خلال إجاباته على عينة من الأسئلة (الفقرات) التي تمثل محتوى المادة الدراسية .  

مواصفاته الصدق : ويقصد به قياس الاختبار لما أُعد لقياسه . فإذا صمم الاختبار لقياس قدرة الطلبة التحصيلية في مادة الحديث مثلا ، فيجب أن يقيس هذه القدرة التي صمم لأجلها ، أما إذا قاس اتجاهات الطلبة نحو المادة فهو اختبار غير صادق . الثبات : ويقصد به أن مركز الطالب النسبي لا يتغير إذا أعيد الاختبار على الطالب نفسه . وهذا يعني استقرار النتائج عند تكرار تطبيق الاختبار أو صور مكافئة له على المجموعة نفسها من الأفراد . الموضوعية : ويقصد بها عدم تأثر نتائج المفحوص بذاتية المصحح . الشمولية : ويقصد بها أن يكون الاختبار شاملا لنواتج التعلم المراد قياسها .

أهميتـه : التعرف مواطن القوة والضعف لدى الطلبة . قياس تحصيل الطلبة ومدى تقدمهم . إثارة دافعية الطلبة للتعلم . تقييم طرائق التدريس . تقييم المناهج الدراسية ، ومدى ملاءمتها لحاجات الطلبة . تزويد الطالب وولي الأمر وأصحاب القرار بالتغذية الراجعة عن مستوى تحصيل الطلبة . تقييم البرنامج التعليمي .

Examinations الاختبارات Closed-book exam Open-book exam Take-home exam

نشاط ماهي خطوات بناء الاختبار التحصيلي؟ نشاط ماهي خطوات بناء الاختبار التحصيلي؟

خطوات بناء الاختبار التحصيلي 1- وضع تخطيط للمحتوي Content Outline 2-صياغة نواتج التعلم Statement of learning outcomes 3- وضع جدول المواصفاتTable of Specification 4- اختيار فقرات الاختبا ر Item Selection 5- وضع التعليمات Composition of Instructions 6- تصميم ورقة الإجابة Development of Answer sheets 7- وضع مفتاح الإجابة Construction of Answer Keys 8- تنفيذ الاختبار Test Administration 9- المراجعة Test Revision

Figure 1. Aligning learning outcomes, learning and teaching activities and the assessment. Adapted from Biggs(1999) p 27 http://www.engsc.ac.uk/er/theory/constructive_alignment.asp

الثلاث مجالات 1-Cognitive Domain (Thinking ,Knowledge ) المجال المعرفي ( التفكير , المعرفة ) 2-Affective Domain ( Feelings, attitudes) الجانب الانفعالي (المشاعر و الاتجاهات ) 3-Psychomotor Domain (Doing , Skills ) الجانب النفسحركي (الفعل , المهارات )

Evaluation of Student Achievement What a person knows Cognitive Tests What a person can do Performance Ratings What a person feels Attitude Scales

صياغة الأهداف السلوكية التقويم التركيب التحليل التطبيق مستويات بلوم الفهم التذكر

Bloom’s Taxonomy: Cognitive Domain

نشاط تصنيف مخرجات التعلم تبعا لمستويات بلوم نشاط تصنيف مخرجات التعلم تبعا لمستويات بلوم

جدول المواصفات Table of Specifications

Table of Specifications جدول المواصفات الغرض : -التأكد من التوزيع المناسب لجميع عناصر المقرر الدراسي . -دليل أو مرشد لكتابة الفقرات الاختبارية . يوزع فقرات الاختبار لتشمل أنواعا مختلفة من المجالات ومهاراتها الفرعية . يوزع فقرات الاختبار لتشمل الموضوعات كلها. يوفر صدقا عاليا للاختبار . يجعل الاختبار أداة تشخيصية علاوة على كونه أداة تحصيلية . يوزع الزمن على الموضوعات وأهميتها فيعطي الوزن الحقيقي لكل جزء من أجزاء المادة .

نشاط جدول المواصفات

Assessment Methods طرق التقييم

أي الفقرات الاختبارية أفضل ؟ الأمر يعتمد علي المحتوى ,نواتج التعلم,الوقت , الخ : هل تريد أن تقيم : -المعرفة ؟ -الفهم ؟ -التطبيق -التحليل؟ -التركيب ؟ - التقويم ؟

Direct Measures of Learning Assessment Methods طرق التقييم الاسئلة الموضوعية Objective Test items • دراسة الحالة Case Studies • أسئلة المقال Essay Questions • المشروعات Projects • الجرائد التأملية Reflective Journals • التقديم في السيمنار Seminar Presentation • الخبرات الميدانية Practicum and Clinical experiences • الملف التجميعي Portfolio ملاحظة السلوك Behavioral observations • المقابلات غير الرسمية Informal interviews الاختبارات Examinations الواجبات المنزلية homework assignments كتابة مقال essays التقييم الذاتي و تقييم الزميل Peer and Self-Assessment

مجالات التقييم : مجال المعرفة والفهم : ويقصد به تذكر واستدعاء المعلومات أو ترجمتها وتحليلها من شكل إلى آخر . ويندرج تحت هذا المجال مجموعة من المهارات منها : التعرف ، التذكر ، والوصف ، والمقارنة المجدولة ، وإعطاءوالتفسير ، إعطاء الدليل ……الخ . مجال العمليات العقلية العليا : وهي المتصلة بقدرة الطالب على التفسير والتطبيق وإيجاد الشواهد والادلة على معرفته، واستخدام ما تعلمه في مواقف حياتية جديدة وغير مألوفة ، ومن المهارات التي تندرج تحت هذا المجال : توظيف المعلومات . حل المشكلات . التقويم . الاستقصاء . إصدار الحكم ، واقتراح البدائل والحلول . التذوق الأدبي والنقد وإبداء الرأي ..

أنواع الاختبارات الموضوعية Objective Tests 1ـ أسئلة الصواب والخطأ True /False Items 2ـ أسئلة الاختيار من متعدد Multiple Choice Items 3ـ أسئلة المقابلة Matching Items 4ـ أسئلة التكميل Completion Items

فقرات الصواب والخطأ : True False Items الفقرة في هذا النوع من الأسئلة عبارة عن جملة خبرية يجيب عنها الطالب بالصواب إذا كانت الجملة صحيحة ، والخطأ إذا كانت الجملة خاطئه ، أو أي صيغة أخرى مثل ( نعم ، لا ) ، ( √ ، × ) و ( ص ، خ ) . ويهدف هذا النوع من الأسئلة إلى قياس قدرة الطالب على التمييز بين المعلومات الصحيحة والمعلومات الخاطئه ويستخدم لقياس المستويات الدنيا من المجال المعرفي. ويمتاز هذا النوع من الفقرات بما يأتي : موضوعية التقييم . سهولة التصحيح . الشمولية النسبية . سهولة الصياغة . قياس التذكر والتشجيع على الحفظ والتخمين .

من الواجب مراعاة ما يأتي عند كتابة هذا النوع من الفقرات أن تكون الجمل واضحة وقصيرة ، وأن لا تستخدم العبارات كما وردت في الكتاب المقرر. أن تكون الجملة إما صحيحة أو خاطئة ، ولا يجوز الجمع بين الصواب والخطأ في الجملة نفسها . عدم استخدام كلمات مثل لا ، مطلقا ، أبدا ، أحيانا ، فقط ، دائما . أن تكون الجمل مرتبة عشوائيا ، وأن يكون عدد الجمل الصحيحة مساويا لعدد الجمل الخاطئة

فقرات الاختيار من متعدد : Multiple Choice Items يعتبر هذا النوع من الأسئلة من أفضل أنواع الأسئلة وأكثرها صدقا وثباتا واستخداما في الاختبارات . تتكون الفقرة في مثل هذا النوع من الأسئلة من المتن الذي يوضح المشكلة، ويتبعه عدد من البدائل ( المموهات ) . إحداها هو الإجابة الصحيحة ، ويطلب إلى الطالب اختيار الإجابة الصحيحة ، ويستخدم هذا النوع لقياس معرفة الحقائق العلمية واستيعابها وتطبيق المعرفة العلمية في مواقف جديدة ، ويتصف هذا النوع من الأسئلة بما يأتي : تغطية محتوى الكتاب المدرسي . سهولة التصحيح . صعوبة الإعداد والتصميم . صعوبة قياس القدرات التعبيرية والأدائية والإبداعية . ارتفاع تكاليف إعداده

ومن الامور الواجب مراعاتها عند كتابة هذا النوع من الفقرات ما يأتي: أن يحدد في متن السؤال مشكلة واضحة ، ويكون أحد البدائل حلا للمشكلة . أن يكون عدد البدائل ( 4-5 ) لتقليل نسبة التخمين . أن تكون المموهات جميعها محتملة من وجهة نظر الطالب . مراعاة وضوح اللغة في نص السؤال بحيث يبتعد عن صيغة النفي ، وتجنب الكلمات التي تحمل عدة معاني ، وتؤدي إلى إرباك الطالب وتضليله . الابتعاد عن استخدام الكلمات : أبدا ، دائما ، مطلقا ، إطلاقا . عدم استخدام كلمات مثل : جميع ما ذكر ، لا شيء مما ذكر

أسئلة المطابقة ( المزاوجة ) : Matching items يتألف هذا النوع من الأسئلة من مجموعتين ( قائمتين ) من الكلمات أو العبارات وتسمى القائمة الأولى ( المقدمات ) ، وتسمى القائمة الثانية ( الإجابات ) بحيث يكون لكل مقدمة في القائمة الأولى إجابة في القائمة الثانية ، ويطلب إلى الطالب أن يربط كل كلمة أو عبارة في القائمة الأولى بما يناسبها من كلمات أو عبارات في القائمة الثانية . ويستخدم هذا النوع لقياس قدرة الطالب على ربط المفاهيم والمبادئ والتعميمات العلمية . ويتصف هذا النوع من الأسئلة بما يأتي : سهولة الإعداد والصياغة . موضوعية التقييم . مجال التخمين فيه قليل . مناسبته للطلبة في المرحلة الأساسية . مناسبته لقياس قدرات الطلبة المتعلقة بذكر الحقائق ، والتعميمات ، والمفاهيم العلمية. تشجيعه على حفظ المعلومات وتذكرها . استخدامه يتطلب وجود عدد من العلاقات المتناظرة من المعارف ، وان يكون عدد البدائل في القائمة الثانية ( قائمة الاجابات ) اكثر من عدد القائمة الاولى ( المقدمات ) .

الاختبارات الموضوعيه:Objective Tests -تذكر الحقائق و الارقام, فهم المادة التعليمية, القدرة علي الاستدعاء,الربط , التفسير (نواتج تعلم في المستوي الادني ) - تطبيق المعرفة بصورة بسيطة بمعني استخدام المعرفة المتعلقة بالحقائق و المعلومات في تفسير البيانات, التشخيص و حل المشكلات المعرفة جيدا . -يمكن قياس مهارات حل المشكلات في المستويات الدنيا . -من الممكن( و لكنة من الصعب) كتابة فقرات اختبار موضوعية لقياس مستويات التفكير العليا . Source: http://www.microsoft-cisco-certification.com)

Example 1 Typical MCQ Which e-Business model best describes an online auction company like eBay? B2B (B) B2C (C) C2C (D) Portal (E) Infrastructure Example 2 High Order Thinking MCQ After installing Windows 2000 Server on a new computer, you try to boot the computer but it fails. You receive an error message stating that the Boot.ini file is missing. The computer’s system partition has been formatted with NTFS.Which of the following describes the simplest solution to the problem in this scenario? You should (A) Use the latest System State backup to restore the missing file. (B) Boot the computer using Safe mode and then copy the missing file from a Windows 2000 CD. (C) Use the ERD to boot the computer and then restore the missing file to the Windows 2000 Server computer. (D) Use the Recovery Console to copy the missing file from the Windows 2000 CD.

اختبار المقال Essay Tests 1-Unstructured questions, free-response questions الأسئلة المفتوحه التي ليس لها استجابة محدده للطالب الحرية التامة في المناقشة,و هي تقيس مدي واسع من الموضوع ,المعرفة بموضوعات أخري مرتبطة ,القدرة علي التركيب , التحليل و التقييم, مهارات الاتصال الكتابية و الفرصه لتنظيم الافكار و ايضاح القدرة علي التفكير الابتكاري و الابداعي . 2- Structured or restricted-response questions. الأسئلة المحددة الاستجابة يكون للطالب حرية قليلة في تحديد طبيعة و مدي الاستجابة .و غالبا ماتكون الاسئلة مرشدة و موجه لهيكل و محتوي الاستجابة المتوقعة ,و هذا النوع يقيم المعلومات الموجودة في الكتاب المقرر, أكثر من تقييم التفكير الناقد . .

Example 1 Unstructured Essay Question Discuss the suitability of deploying a distributed high-volume financial transaction system on Microsoft’s. Net architecture in under 500 words. Example 2 Structured Essay Question Read the information about Smith College. Describe a) how work is organized amongst the different departments b) how these departments are coordinated c) the advantages and disadvantages of the functional structure d) what kinds of problems this type of organization solves/ creates? e) Is this the most effective kind of organization for Smith College?

أهم مزايا وعيوب الأسئلة المقالية والموضوعية

أهم مزايا وعيوب الاسئلة المقالية والموضوعية الأسئلة الموضوعية المزايا الثبات والصدق . الموضوعية في التصحيح . السرعة في التصحيح . شموليتها للموضوعات ولمستويات الأهداف . تساعد على المقارنة بين الطلاب . العيوب سهولة التخمين في الإجابة . صعوبة إعدادها . سهولة الغش. لا تعطي الطالب حرية التعبير ولإبداع . مكلفة مادياً في الكتابة والطباعة . لاتعطي دلالة عن المستوى الحقيقي للطالب . الأسئلة المقالية المزايا سهولة الإعداد لا تسمح بالتخمين وتقلل من إمكانية الغش . تمنح الطالب حرية الإجابة. تظهر مهارة الطالب في التنظيم وترتيب الأفكار . يركز على الأفكار الرئيسية والمفاهيم الكلية . العيوب تفتقد إلى خاصية الشمولية . لغة الطالب وخطه وتنظيمه وسرعته في الحل تؤثر على موضوعية التصحيح . تستغرق وقت وجهد في التصحيح . احتمال فهم السؤال بأشكال مختلفة .من قبل الطالب . لا تعطي دلالة واضحة عن تحصيل الطالب .

Case Studies دراسة الحالة يتم تقديم وصف يشمل حقائق حول مشكلة أو موقف للطالب .و يطلب منه تحليل بعض المعلومات , تشخيص المشكلة ووصف الحل .و دراسة الحالة تقييم قدرة الطالب علي التحلبل , التطبيق و تركيب المعرفة حتي يستطيع تفسير و فرض الفروض الي جانب وصف الحلول .و هي تقيس أيضا مهارات عامة مثل الاتصال و التفكير الناقد. و دراسة الحالة في العالدة مفتوحة الاستجابة .لايوجد اجابة صحيحة واحدة و لكن عدة بدائل . هذا النوع من الاسئلة يشجع التعلم النشط و العميق .و دراسة الحالة تشجع الطالب علي استكشاف المعرفة و التركيز علي تطبيق المعرفة لحل المشكلات التي في متناول اليد .

Table 1: Alignment of learning outcomes and assessment methods (Adapted from Biggs 2004)

Table 1: Alignment of learning outcomes and assessment methods Cont’d)

صياغة السؤال الجيد : هل المحتوى المراد قياسه مغطى في الاختبار ؟ هل الأهداف المراد قياسها موجودة في الاختبار ؟ هل السؤال واضح ومستوى لغته ملائم للطلبة ؟ هل إجابة السؤال محددة ؟ هل صياغة السؤال جديدة ومختلفة عن نص الكتاب ؟ هل طريقة عرض السؤال ملائمة ؟ هل المعلومات المتضمنة في السؤال ضرورية ؟ هل هناك ترتيب منطقي في الفقرات الفرعية للسؤال ؟ مثل تسلسلها بحسب مستوى الأهداف ، أو التدرج في الصعوبة ، أو ترتيب موضوعات الكتاب . هل ترتبط الفقرات الفرعية جميعها بالموضوع ، والأشكال ،والبيانات الأخرى ؟ هل تعليمات السؤال واضحة وخالية من الازدواجية والتكرار مثل : صف واذكر واشرح في آن واحد . هل تم تحديد العلامة الكلية والفرعية لكل سؤال وفقرة ؟ هل تم تجنب الكلمات والمصطلحات التي تحمل اكثر من معنى ؟ هل تم تسليط الضوء على المعلومات الهامة في السؤال بطريقة واضحة ؟ هل الفراغات المخصصة للاجابة كافية ؟

نشاط تصميم فقرات اختبارية نشاط تصميم فقرات اختبارية

خصائص الاختبار الجيد الموضوعية . ونعني بها منع التأثيرات الشخصية بالنسبة للحكم على صحة أو خطأ إجابة الطالب وتقديرها وتفسير نتائجها بحيث لا تخضع لتقدير المصحح الذاتي فتختلف من مصحح إلى آخر . الثبات . ونعني به ثبات نتيجة الطالب في هذا الاختبار عند تطبيقه مرة أخرى يفصل بينهما فترة زمنية قصيرة . الصدق . الاختبار الصادق هو الاختبار الذي يقيس الأهداف التي وضع لقياسها بدقة .فمثلاً إذا وضع الاختبار بهدف تقويم الطلابه في إجراء العمليات الأساسية للجبر فيجب أن يقل أثر ضعف الطالب في التعبير الرمزي على أدائه في الاختبار . الشمول . ونعني به أن تغطي أسئلة الاختبار جميع الجوانب المراد تقويمها . التمييز . إبراز الفروق الفردية بين الطلاب حيث تختلف الاجابات باختلاف الطلاب

تابع خصائص الاختبار الجيد الواقعية . ونعني بها مراعاة واقع الاختبار من حيث امكانات التطبيق كأن لا يستهلك وقتاً طويلا من المدرس الاعداده وتطبيقه وتصحيحه وتفسير نتائج وأن يلئم ظروف المدرسة من حيث الامكانات المتاحة . الدافعية . أن يثير الاختبار حوافز التلميذ نحو الاجابة عليها ونحو دراسة المزيد من الرياضيات ويتحقق ذلك بتجنب الأسئلة التي يغلب عليها التخمين وأن لا يستخدم الاختبار كوسيلة لعقاب التلاميذ . السهولة . سهولة الإعداد والطباعة والتطبيق وغير ذلك .

Test Item Development Guidelines and Examples http://www.oir.uiuc.edu/dme/exams/ITQ.html http://www.conan.ipat.com/~cert/lpi/itemguide.html www.dawaseredu.gov.sa/aktb/mwdwaih.htm www.geocities.com/mathnetsa www.freewebs.com/evaluation/objective_tests.htm www.tmcc.edu/vp/aa/downloads/documents/GenEdHandbook.pdf

Assessing the Affective domain http://edtech.clas.pdx.edu www.oll.temple.edu/PHETE/courses/253/affective.html http://businessballs.com/bloomstaxonomyoflearningdomains.htm http://media.wiley.com/product_data/excerpt/9X/04714908/047149089X.pdf

Designing Achievement cognitive Tests http://www.oir.uiuc.edu/dme/exams/ITQ.html http://www.conan.ipat.com/~cert/lpi/itemguide.html www.dawaseredu.gov.sa/aktb/mwdwaih.htm www.geocities.com/mathnetsa www.freewebs.com/evaluation/objective_tests.htm

Designing Rubrics Assessing Performance Teachnology http://www.teach-nology.com/web_tools/rubrics/ UW-Stout http://www.uwstout.edu/soe/profdev/rubrics.shtml Rubistar http://rubistar.4teachers.org/index.php Class Web http://www.landmark-project.com/classweb/ Rubric links http://eduscapes.com/tap/topic53.htm Kathy Schrock’s Guide for Educators http://school.discovery.com/schrockguide/assess.html Rubrics and Evaluation Resources http://www.ncsu.edu/midlink/ho.html The Technology Applications Center for Educator Development http://www.tcet.unt.edu/START/instruct/general/rubrics.htm Taskstream https://www.taskstream.com/pub/