روايي (validity)

تعريف اصطلاحي است كه به هدفي كه پرسشنامه براي تحقق بخشيدن به آن درست شده است ،اشاره مي كند.

A measure is valid when the differences in observed scores reflect true differences on the characteristic that we are attempting to measure and nothing else.

آزموني داراي روايي است كه براي اندازه گيري آنچه مورد نظر است ، كافي و مناسب باشد.

انواع روايي روايي محتوايي(content-related validity) روايي صوري روايي ملاكي(روايي معيار)Criterion-related validity روايي پيش بيني:predictive روايي همزمان:Concurrent روايي سازه::Construct Convergent Discriminate

ازآنجا كه هيچ آزمون و پرسشنامه ای نمي تواند تمام محتوا و كليه هدف هاي يك درس و یا مفهوم راشامل شود ،هر آزمون یا پرسشنامه از مجموعه اي سؤال كه به عنوان نمونه اي از تمام محتوا و هدف هاي آموزشي درس انتخاب شده است ،تشكيل مي يابد.

كاربردي ترين و مهمترين روايي كه ما با آن سروكار داريم ، همين روايي محتوايي است.

روايي محتوايي به اين مطلب اشاره مي كند كه نمونه سؤال هاي موجود در يك آزمون تا چه حد معرف كل جامعه سؤال هاي ممكن است كه مي توان از محتوا يا موضوع مورد نظر تهيه كرد. هرچه آزمون از اين لحاظ بهتر باشد، داراي روايي بيشتري است.

Nunnaly:[psychometric theories 1994, P.103] In spite of efforts to settle every psychological measurement issue by flight into statistics, content validity is mainly settled in other ways. Although helpful hints are obtained from analysis of statistical findings, content validity primarily rests upon an appeal to the property of content and the way it is presented.

It was argued that the sampling adequacy of test content, the relevance of test content, and the clarity of domain definitions should be associated with the terms content representativeness,& content relevance, respectively, rather than with the term content validity, because these notions do not refer to any kind of test validity. Also, it was indicated that the sampling adequacy of test responses and the relevance of these responses are matters already encompassed by the concept of construct validity. Since no appropriate means of defining this type of validity is therefore found, it is concluded that content validity is not a useful term for test specialists to retain in their vocabulary.

چگونه روايي محتوايي يك آزمون یا پرسشنامه را تعيين مي نماييم؟ ‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌ ‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌ هيچگونه روش آماري براي تعيين ضريب روايي محتوايي وجود ندارد.  براي تعيين روايي محتوايي يك آزمون از قضاوت متخصصان در اين باره كه سؤال هاي آزمون تا چه ميزان معرف محتوا و هدف هاي برنامه يا حوزه محتوايي (content domain) هستند ،استفاده مي شود.

For example, a depression scale may lack content validity if it only assesses the affective dimension of depression but fails to take into account the behavioral dimension

قضاوت هاي مربوط به روايي محتوايي نه قطعي هستند و نه نهايي،زيراآزمون ها از سطوح مختلف روايي برخوردارندو متخصصان در قضاوت هاي خود هميشه با هم توافق نظر ندارند.

Validity is usually a matter of degree rather than an all-or-none property [Nunnaly P. 84]

روايي صوري(ظاهري) Face validity روايي صوري از مشتقات روايي محتوايي است . روايي صوري به اين مطلب اشاره مي كند كه سؤال هاي يك آزمون تا چه حد در ظاهر شبيه به موضوعي هستند كه براي اندازه گيري آن تهيه شده اند.

According to Nunnaly the face validy “ may best be understood as reflecting the extent to which someone who is not trained to look for formal evidence of validity feels the instrument measures what it is intended to measure“.

Face validity is the extent to which a test appears to measure what it is supposed to measure

در واقع روايي صوري نمي تواند نوعي روايي باشد ،بلكه تنها يك ويژگي آزمون است كه در پاره اي مواقع وجود آن مفيد به نظر مي رسد.  برخي نيز اساسا اهميت آن رارد مي كنند.  با اين وجود گاهي صورت آزمون (روايي صوري )از لحاظ قابليت پذيرش و معقول بودن آزمون براي آزمون شوندگان ، داراي اهميت است.

مثال داوطلبان خلباني، يك آزمون رياضي را كه در آن مسايل مربوط به جريان باد و مصرف بنزين طرح شده است ، به آزمون رياضي ديگري كه مسايل را در قالب هزينه غلات يا فهرست مواد خام براي تهيه نوعي شيريني بيان مي كند، تر جيح مي دهند. بنابراين مي توان گفت تا آن اندازه كه ظاهر آزمون بر انگيزه ي آزمون شونده اثر مي گذارد،روايي صوري مي تواند مهم باشد.

هر چند كه روايي صوري يك ويژگي مطلوب آزمون است ،بااين حال در بعضي آزمون ها اين ويژگي نه تنها ضروري نيست بلكه بهتراست كه وجود نداشته باشد، به عنوان مثال اگر كسي بخواهد بيماري رواني را درافراد تشخيص دهد ، بهتر است آزموني را به كار بندد كه روايي صوري اندكي دارد.

مي رود ، يعني استفاده از نظر متخصصان، قابل استفاده است. روش تعيين روايي صوري از آنجا كه روايي صوري نوع خاصي از روايي محتوايي است ،همان روشي كه براي تعيين روايي محتوايي به كار مي رود ، يعني استفاده از نظر متخصصان، قابل استفاده است.

منظور از روايي ملاك ،ميزان ارتباط بين نمرات حاصل از يك آزمون با نمرات حاصل از يك آزمون ياوسيله اندازه گيري ديگر است.  بنابراين هرزمان كه از نمرات يك آزمون براي پيش بيني عملكرد افراد در آزموني ديگر(آزمون ملاك) استفاده كنيم با روايي ملاك سر وكارداريم.  آزمون اول را آزمون پيش بين و آزمون دوم كه عملكرد فرد درآن پيش بيني مي شود ،آزمون ملاك نام دارد.

اگر آزمون دوم پس از يك فاصله زماني با آزمون اول باشد، به آن روايي پيش بيني گفته مي شود.  اگرهدف اين باشد كه آيا يك آزمون يا وسيله اندازه گيري مي تواند جانشين مناسبي براي آزمون يا وسيله اندازه گيري ديگري(بدون فاصله و بطور همزمان) باشد، به آن روايي همزمان گفته مي شود.

مثال Researchers have found that the amount of words a child reads correctly in one minute is a good indicator of general reading ability.

دو شاخص تعیین روایی ملاک:حساسيت و ويژگي حساسيت: توانايي يك آزمون در تشخيص درست كساني كه بيمارند. مثبت هاي حقيقي ويژگي: توانايي يك آزمون در تشخيص درست كساني كه بيمار نيستند. منفي هاي حقيقي

حساسيت و ويژگي منفي هاي حقيقي مثبت هاي حقيقي مثبت كاذب مثبت غربال گري

حساسيت و ويژگي Disease Yes No Pos. Neg. Test مثبت حقيقي مثبت كاذب منفي

a b c d حساسيت و ويژگي a + c b + d = a a + c حساسيت = مثبت حقيقي Disease Yes No Pos. Neg. Test a + c b + d = a a + c حساسيت = مثبت حقيقي بيماران

a b c d حساسيت و ويژگي a + c b + d = d b + d ويژگي = منفي حقيقي Disease Yes No Pos. Neg. Test a + c b + d = d b + d ويژگي = منفي حقيقي سالم ها

حساسيت و ويژگي a b c d Disease Yes No Pos. Neg. Test a + c b + d

ارزش اخباری قضاوت در مورد سلامت فرد(بیمار بودن یا نبودن) بر حسب نتیجه آزمون. احتمال بیمار بودن فرد زمانی که نتیجه آزمون مثبت است. ارزش اخباری مثبت احتمال بیمار نبودن فرد زمانی که نتیجه آزمون منفی است. ارزش اخباری منفی

2 X 2 tables Gold standard + - New + True + False + test + - New + True + False + test - False - True -

Calculating SN and SP Gold standard Sensitivity Specificity + - New + - New + TP FP test - FN TN Sensitivity Specificity TP/TP+FN TN/FP+TN

Pos and Neg Predictive Value Gold standard + - New + PV = + TP FP TP/TP+FP test - FN TN - PV = TN/TN+FN Sensitivity Specificity

ارزش اخباری مثبت احتمال بیمار بودن فرد زمانی که نتیجه آزمون مثبت است. HIV +

ارزش اخباری منفی احتمال سالم بودن فرد زمانی که نتیجه آزمون منفی است. HIV -

a b c d ارزش اخباري a + b c + d = a a + b ارزش اخباري مثبت = Disease Yes No Pos. Neg. Test a + b c + d = a a + b ارزش اخباري مثبت = مثبت حقيقي مثبت ها

a b c d ارزش اخباري a + b c + d = d c + d ارزش اخباري منفي = Disease Yes No Pos. Neg. Test a + b c + d = d c + d ارزش اخباري منفي = منفي حقيقي منفي ها

Consider 1000 patients: 500 with a disease, 500 without

Consider 1000 patients: 500 with a disease, 500 without 4 possible types of diagnostic testing classifications: 2 correct, 2 incorrect

Correct Classification: True Positive (TP) Definition: Sensitivity = TP / (TP + FN) = probability of a “+” test among diseased Example: Sensitivity = 400 / 500 = 80%

Correct Classification: True Negative (TN) Definition: Specificity = TN / (FP + TN) = probability of a “-” test among healthy Example: Specificity = 450 / 500 = 90%

Incorrect Classification: False Positive Definition: “False Positive Fraction” = FP / (FP + TN) = probability of “+” test among healthy Example: FPF = 50 / 500 = 10%

مثال: هوش ، خلاقيت ،عشق،... تعريف سازه : سازه عبارت است از يك صفت ،ويژگي يا كيفيت روان شناختي (چيزي كه نمي توان آن را مستقيما مشاهده نمود)که از طريق نظريه هاي روان شناسي قابل استنتاج است. مثال: هوش ، خلاقيت ،عشق،...

Construct validity seeks agreement between a theoretical concept and a specific measuring device or procedure.

For example, a researcher inventing a new IQ test might spend a great deal of time attempting to "define" intelligence in order to reach an acceptable level of construct validity.

Construct validity can be broken down into two sub-categories: 1- Convergent validity 2- Discriminate validity

چگونه روايي سازه را تعيين مي كنيم؟  نخست بايد آن سازه (به عنوان مثال ”هوش ”)را تعريف نماييم.  سپس براي اندازه گيري آن سازه ، آزموني بسازيم.  رابطه بين نمرات حاصل از اين آزمون رابامواردي که طبق نظريه هاي علمي (دراين مثال نظريه هاي روانشناختي و پرورشي )در باره ي آن (هوش )بيان کرده اند(مانندسرعت يادگيري،ميزان پيشرفت تحصيلي،..)تعيين مي نماييم.

به طور مثال در مورد پرسشنامه سنجش کیفیت زندگی (SF36) انتظار بر آن است که نمره پرسشنامه به طور معنی داری در طبقات سالمندان کمتر از جوانان باشد.

راه هاي مختلف تعيين روايي سازه در ازمون هاي هنجار-مرجع 1-تعيين همبستگي آزمون باساير آزمون هاي روا روايي همگرا: وقتي آزمون جديد با آزمون موجود، که براي اندازه گيري همان سازه ساخته شده است،داراي همبستگي زيادي باشد، آزمون جديد نيز براي اندازه گيري آن سازه رواست. اين روايي را روايي همگرا مي گوييم. روايي واگرا يا تميزي: آزمون مورد نظر نبايد با آزمون هاي ديگر که سازه هاي متفاوتي را اندازه گيري مي کنند ،همبستگي داشته باشد.اين را روايي واگرا مي گويند.

2- تمايز سني (اگر سن يک عامل مهم ويژگي مورد اندازه گيري باشد(مانند آزمون هوش وکسلر)، آنگاه نمرات آن آزمون بايد با بالا رفتن سن ،پيشرفت نشان دهد). 3– تحليل عاملي (factor analysis) 4- بررسي همساني دروني : محاسبه همبستگي نمرات آزمون هاي فرعي با نمره کل آزمون(توجه :خرده آزمون ها نبايد بايکديگر همبستگي زيادي داشته باشند،زيرا در چنين حالتي همه ي آنها يک چيز را اندازه گيري مي کنند).