語言評量發展的省思 袁韻璧輔仁大學英文系
目錄 緒論：測驗與教學的關係 緒論：測驗與教學的關係測驗與教學的關係 語言評量的發展：由評量方式談起 語言評量的發展：由評量方式談起評量方式 好測驗必備的要件 好測驗必備的要件 好測驗必備的要件 效度、信度、可行性、對教學有好影響 效度、信度、可行性、對教學有好影響 效度信度可行性 效度信度可行性 閱讀測驗選擇題 閱讀測驗選擇題 閱讀測驗選擇題 電腦化測驗 電腦化測驗 優點及缺點 優點及缺點 優點缺點 優點缺點 結論 結論 結論
測驗與教學的關係 １。評量是學習的一環 ２．從屬／主僕 對等的夥伴關係 (supportive, corrective) (supportive, corrective)３．應有良好互動
評量方式 alternative assessment paper-&-pencil computer-based paper-&-pencil computer-based tests testing tests testing
好測驗必備要件 Validity 效度 Validity 效度 Reliability 信度 Reliability 信度 Practicality (feasibility) 可行性 Practicality (feasibility) 可行性 Positive washback 對教學有好影響 Positive washback 對教學有好影響 Washback: the effect of tests on teaching & learning Washback: the effect of tests on teaching & learning
Validity 效度 一個有效的測驗不該超出欲測的範圍 一個有效的測驗不該超出欲測的範圍 尤其不能同時測驗其他不相干的東西 尤其不能同時測驗其他不相干的東西 例如：聽力測驗就只能考聽力，不能考作文能 力 例如：聽力測驗就只能考聽力，不能考作文能 力 效度種類 效度種類 表面效度 (Face validity), 內容效度 (content validity), 效標關聯效度 (criterion-related validity), 理論 ( 建構 ) 效度 construct validity 表面效度 (Face validity), 內容效度 (content validity), 效標關聯效度 (criterion-related validity), 理論 ( 建構 ) 效度 construct validity
Face Validity 表面效度 是什麼就該像什麼 是什麼就該像什麼 如聽力測驗看起來就像個聽力測驗 如聽力測驗看起來就像個聽力測驗 不管什麼人來看都如此 不管什麼人來看都如此 最基本的一種效度，但光有表面效度 是不夠的 最基本的一種效度，但光有表面效度 是不夠的
Content Validity 內容效度 “A test is said to have content validity if its content constitutes a representative sample of the language skills, structures, etc. with which it is meant to be concerned.” (Hughes 1989, p. 22) “A test is said to have content validity if its content constitutes a representative sample of the language skills, structures, etc. with which it is meant to be concerned.” (Hughes 1989, p. 22) 判斷是否具內容效度的方法： 判斷是否具內容效度的方法： 題目內容 題目內容 符合授課目標、大綱 符合授課目標、大綱 與授課內容、教材吻合 與授課內容、教材吻合 具代表性 具代表性
Reliability 信度 測驗結果是穩定、一致的 測驗結果是穩定、一致的 不因 不因 試題版本 試題版本 考試時間 考試時間 監試者或評分者 監試者或評分者而異
提高信度的方法 多出幾道題 多出幾道題 避免語意不清，或模稜兩可的題目 避免語意不清，或模稜兩可的題目 盡量採用直接測驗及可以客觀評分的測驗 盡量採用直接測驗及可以客觀評分的測驗 採用主觀評分題型時，務必有兩個或兩個 以上的專業評分者 採用主觀評分題型時，務必有兩個或兩個 以上的專業評分者 評分時盡可能不要看到考生的名字，以免 受到影響 評分時盡可能不要看到考生的名字，以免 受到影響 確保試題印刷品質，以免字跡模糊不清 確保試題印刷品質，以免字跡模糊不清
Practicality 可行性 現實上經濟因素的考量，包括金錢、時 間、心力的支出： 現實上經濟因素的考量，包括金錢、時 間、心力的支出： 花費不大 花費不大 容易評分 容易評分 容易出題 容易出題 容易施測 容易施測
閱讀測驗選擇題 閱讀包括三個層次： 閱讀包括三個層次： 字面意義或單純文意的理解 字面意義或單純文意的理解 深層意義的理解（須加以進一步的詮釋） 深層意義的理解（須加以進一步的詮釋） 批評或賞析性閱讀 批評或賞析性閱讀 閱讀測驗選擇題常見的毛病 閱讀測驗選擇題常見的毛病 只停留在字面閱讀的層次 只停留在字面閱讀的層次 改寫中產生錯誤（如拼字，用字，文法 ) 改寫中產生錯誤（如拼字，用字，文法 ) 題目故設陷阱或充滿生字 題目故設陷阱或充滿生字 題目涉及文章中未提到的背景知識 題目涉及文章中未提到的背景知識 選擇題型的設計，易造成考生推論合理卻答錯， 或推論錯誤反而答對的情形 選擇題型的設計，易造成考生推論合理卻答錯， 或推論錯誤反而答對的情形 答題（或猜題）技巧，影響考試結果 答題（或猜題）技巧，影響考試結果
電腦化測驗的優點 電腦自動評分，省時省力，快速便捷． 電腦自動評分，省時省力，快速便捷． 個別化試題，符合考生程度，增加信度． 個別化試題，符合考生程度，增加信度． 超大題庫，修改、擴充容易． 超大題庫，修改、擴充容易． 隨機選題，多種組合，不虞洩題． 隨機選題，多種組合，不虞洩題． 隨到隨考，尚可遠距考試，機動方便． 隨到隨考，尚可遠距考試，機動方便． 用於大型考試，經濟有效． 用於大型考試，經濟有效． 運用多媒體，實踐多元智慧學習及評量． 運用多媒體，實踐多元智慧學習及評量．
電腦化測驗的缺點 題型多選擇、配合題，易流於低層次記憶 性題目。 題型多選擇、配合題，易流於低層次記憶 性題目。 無法回頭更改前題答案。 無法回頭更改前題答案。 電腦操作熟練度，影響考試結果。 電腦操作熟練度，影響考試結果。 測驗電腦化對作文、閱讀、會話等考試的 影響猶待研究證實。 測驗電腦化對作文、閱讀、會話等考試的 影響猶待研究證實。
結論 太多變數可能影響考生表現。 太多變數可能影響考生表現。 盡量採取多元、多次評量。 盡量採取多元、多次評量。 採用有效度、信度、實用且對教學有幫助 的題目或評量方式。 採用有效度、信度、實用且對教學有幫助 的題目或評量方式。 線上測驗或電腦化測驗，視目的及需要決 定是否採行。 線上測驗或電腦化測驗，視目的及需要決 定是否採行。 充實專業知識，要有能力分析、判斷測驗 或評量的優劣． 充實專業知識，要有能力分析、判斷測驗 或評量的優劣． 採行優質的測驗或評量 採行優質的測驗或評量