1. XÂY DỰNG CÂU HỎI LĨNH VỰC TOÁN PISA
BỘ GIÁO DỤC ĐÀO TẠO
XÂY DỰNG CÂU HỎI
LĨNH VỰC TOÁN PISA
Nguyễn Hải Châu
Bộ Giáo dục và Đào tạo
Tháng 07 năm 2013

2. I. TỔNG QUAN VỀ
XÂY DỰNG ĐỀ THI PISA

3. Các thuật ngữ Booklet: Đề thi (B1-7; B8-13;B14-20;B21-27)
Cluster: Nhóm một số Unit cùng lĩnh vực (Toán, Khoa học, Đọc hiểu).
PM: Paper Maths (7 cluster)
PR: Paper Reading (03 cluster)
PS: Paper Science (03 cluster)
Unit: Bài toán (Ký hiệu PM … ; PS … ; PR …)
Item: Câu hỏi của Unit (kí hiệu Q ..)
Batch: Chồng bài thi có số lượng từ booklet/1 chồng. Các booklet trong mỗi chồng đều cùng số hiệu “SỐ BOOKLET”
SchooID: Mã trường học.

4. Thuật ngữ cấu trúc đề thi
Một item là một câu hỏi riêng lẻ/một nhiệm vụ được mã hoá riêng lẻ.
Một unit là một số các item chỉ liên quan đến một bối cảnh.
Một cluster. Là một Nhóm các unit cùng lĩnh vực; là một phần thi khoảng 30 phút.
Item Submissions

5.  Việt Nam lựa chọn tham gia phần thi trên giấy
CẤU TRÚC ĐỀ THI PISA 2012
Booklet (B)<– Cluster (PM,S,R)<– Unit (PM,S,R)<- Item(Q)
Đề thi dùng trong Khảo sát chính thức PISA gồm có :
Các đề thi trên máy tính (CBA)
Đề thi trên giấy (Paper Based test)
Phần thi Năng lực tài chính
 Việt Nam lựa chọn tham gia phần thi trên giấy

6. QUI TRÌNH TẠO LẬP ĐỀ THI Đề thi được ghép từ các cluster 1 ; 2; 3; 4
Mỗi Cluster gồm các unit (Từ 2 đến 9)
Mỗi unit gồm 1-4 câu hỏi (item) về một chủ đề của unit đó

7. Cấu trúc một đề thi Trang bìa Khảo sát năng lực (Q) Bảng công thức
PM4
PM947
PM _ _ _
PM12
PM13
PM6
Booklet
04 Cluster
Một số Unit
Bảng công thức
Khảo sát năng lực (Q)
Hướng dẫn chung

8. CẤU TRÚC ĐỀ THI PISA 2012

9. CẤU TRÚC ĐỀ THI PISA 2012
Việt Nam sử dụng các cuốn đề

10. CÁC CÂU HỎI TRONG ĐỀ THI
Một đề thi có từ 50 đến 63 câu hỏi, với độ dày khoảng 55 trang
Đề thi có số lượng câu hỏi
Nhiều nhất là 63 câu (đề 8)
Ít nhất là 50 câu (đề 11)
Mỗi đề có khoảng 400 học sinh tham gia làm bài (5200HS/13 đề).
Mỗi số booklet có khoảng 400 cuốn

11. CÁC CÂU HỎI TRONG ĐỀ THI Mỗi Cluster Toán Trung bình có 12 câu
Mỗi Cluster Khoa học Trung bình có 18 câu
Mỗi Cluster Đọc hiểu Trung bình có 14 câu
Khảo sát chính thức PISA 2012 có 13 cluster trong đó:
Có 7 Cluster Toán: PM 1,2,3,4,5,6B,7B
Có 3 Cluster Khoa học: PS 1,2,3
Có 3 Cluster Đọc hiểu: PR 1,2,3
Trong quá trình lập Booklet, mỗi cluster được xuất hiện 4 lần với 4 vị trí khác nhau 1(bội);2;3;4.

12. CÁC CÂU HỎI TRONG ĐỀ THI
Việc ghép Cluster vào Booklet được thực hiện ngẫu nhiên
Các câu hỏi Toán trải đều trong 13 đề thi
Số lượng các câu hỏi Toán trong một đề ít nhất là 12 câu hỏi nằm trong các đề 8, đề 12 và đề 22
Số lượng các câu hỏi Toán trong một đề nhiều nhất là 36 câu (đề 10,11, 25 và 27) và 37 câu (đề 24 và 26)

13. CẤU TRÚC ĐỀ THI
13 booklet đều có Toán:
5 đề có cả 3 lĩnh vực Toán, Khoa học, Đọc hiểu là B8;12;13;22;23.
4 đề chỉ có Toán và Khoa học là B10;21;25;27
4 đề chỉ có Toán và Đọc hiểu là B9;11;24;26

14. CÁC CÂU HỎI TRONG ĐỀ THI 63 53 53 50 61 58 60 58 57 51 54 52 54

15. Một Câu hỏi (Item) là một nhiệm vụ: Câu hỏi - Mục đích câu hỏi
Unit và Item
Một Bài toán (UNIT) là một số nhiệm vụ liên quan đến gợi ý hoặc tình huống cần phải giải quyết
Một Câu hỏi (Item) là một nhiệm vụ:
Câu hỏi
- Mục đích câu hỏi
Quy tắc mã hoá

16. Các hình thức câu hỏi
Câu hỏi trắc nghiệm khách quan nhiều lựa chọn
Câu hỏi Đúng/Sai (Có/Không) phức hợp
Câu hỏi đóng đòi hỏi trả lời (ngắn hoặc dài)
Câu hỏi mở đòi hỏi trả lời (ngắn hoặc dài)

17. Ví dụ : Cuộc thi chạy
Giới thiệu PISA – Phần 2

18. Giới thiệu PISA – Phần 2

19. Giới thiệu PISA – Phần 2

20. Các hình thức câu hỏi Hướng dẫn chấm điểm câu 1 Mức đầy đủ
Mã 1: Trả lời : D.
Không tính điểm
Mã 0: Đáp án khác
Mã 9: Không trả lời
Giới thiệu PISA – Phần 2

21. Các hình thức câu hỏi Hướng dẫn chấm điểm câu 2 Mức đầy đủ
Mã 1: Trả lời theo thứ tự: Đúng, Sai
Không tính điểm
Mã 0: Đáp án khác
Mã 9: Không trả lời
Câu hỏi 3. Tính thời gian chạy bằng giây cho vận động viên đạt huy chương vàng ở cự ly 800m nam.
…  
Giới thiệu PISA – Phần 2

22. Các hình thức câu hỏi Hướng dẫn chấm điểm câu 3 Mức đầy đủ
Mã 1: 104,65s
1:44,65 = 60s + 44,65s = 104,65s
Không tính điểm
Mã 0: Đáp án khác
Mã 9: Không trả lời
Giới thiệu PISA – Phần 2

23. Các hình thức câu hỏi
Năm
Thời gian (s)
1896 12
1956
10,5
2008
9,69
Câu hỏi 4. Bảng trên đây cho biết thành tích của những vận động viên đạt HCV của cự ly 100m trong các năm 1896; 1956 và 2008
Đưa ra hai lý do mà em cho rằng thời gian chạy qua các năm đang giảm dần.
Giới thiệu PISA – Phần 2

24. Các hình thức câu hỏi Hướng dẫn chấm điểm câu 4
Mã 1: Nêu được hai lý do hợp lý
-Sức khỏe con người tốt hơn (1); Phương pháp huấn luyện khoa học hơn (2).
-Những đôi giày chuyên dụng để nâng cao thành tích (3); Người ngày càng cao và chân dài hơn (4)
-Đường chạy được nâng cấp qua các năm (5); Có cơ sở đào tạo dành cho các vận động viên chuyên nghiệp (6).
Đưa ra 2 trong 6 lý do trên là lời giải đúng. Có C62 = 15 câu trả lời hợp lý. Ngoài ra có thể có các câu trả lời khác nếu hợp lý đều được Mã 1.
Không tính điểm
Mã 0: Đáp án khác: không nêu đủ hai lý do hợp lý.
Mã 9: Không trả lời
Giới thiệu PISA – Phần 2

25. Bảng biểu, các thông tin cơ bản liên quan đến các câu hỏi sau đó
Hình thức câu hỏi PISA
Tên Unit
Hình vẽ minh họa
Bảng biểu, các thông tin cơ bản liên quan đến các câu hỏi sau đó

26. Câu hỏi và trả lời của học sinh
Số thứ tự của câu hỏi trong đề thi
Học sinh sẽ khoanh tròn vào Có hoặc Không trong từng dòng
Học sinh sẽ viết câu trả lời hoặc lời giải vào các dòng cho sẵn này

27. II. KHUNG NĂNG LỰC ĐÁNH GIÁ NĂNG LỰC

28. Năng lực toán học
Năng lực toán học (mathematic literacy): - Khả năng nhận biết ý nghĩa, vai trò của kiến thức toán học trong cuộc sống; - Khả năng tư duy, suy luận, lập luận và giải toán; - Khả năng vận dụng kiến thức toán nhằm đáp ứng nhu cầu đời sống hiện tại và tương lai một cách linh hoạt. Năng lực của học sinh được hình thành qua việc học toán nhằm đáp ứng với những thách thức của đời sống hiện tại và tương lai; Năng lực phân tích, lập luận và trao đổi thông tin một cách hiệu quả thông qua việc đặt ra, hình thành và giải quyết vấn đề toán học trong các tình huống và hoàn cảnh khác nhau.
Giới thiệu PISA – Phần 2

29. Các cấp độ năng lực Toán PISA
Cấp độ 1: Ghi nhớ, tái hiện
- Nhớ lại các đối tượng, định nghĩa và tính chất toán học
- Thực hiện được một cách làm quen thuộc
- Áp dụng một thuật toán tiêu chuẩn
Cấp độ 2: Kết nối và tích hợp
- Kết nối, tích hợp thông tin để giải quyết các vấn đề đơn giản
- Tạo kết nối trong các cách biểu đạt khác nhau
- Đọc và giải thích được các kí hiệu và ngôn ngữ hình thức (toán học) và hiểu mối quan hệ của chúng với ngôn ngữ tự nhiên
Cấp độ 3: Toán học hóa, Khái quát hóa, suy luận
- Nhận biết nội dung toán học trong tình huống có vấn đề phải giải quyết,
- Sử dụng kiến thức toán học để giải quyết vấn đề,
- Biết phân tích, suy luận, lập luận, chứng minh toán học.
Giới thiệu PISA – Phần 2

30. Đánh giá với khung năng lực?
Xác định lĩnh vực/phạm vi
Mô tả về các biến (tình huống, quy trình, nội dung)
Mathematics
Science
Reading

31. Ví dụ câu hỏi Toán học: Cầu thang
Đặc điểm năng lực
Tình huống
Nghề nghiệp
Quy trình
Công thức hoá
Nội dung
Không gian và hình khối
Độ cao của mỗi bậc thang trong cầu thang 14 bậc trên là bao nhiêu?
Độ cao: _ _ _ _ cm

32. Ví dụ câu hỏi Toán học: Điểm thi
Nhín vào biểu đồ, giáo viên nhận xét rằng nhóm B làm tốt hơn nhóm A. Học sinh trong nhóm A không đồng ý với giáo viên của họ. Họ cố gắng thuyết phục giáo viên rằng nhóm B chưa hẳn đã tốt hơn nhóm A. Hãy đưa ra một lập luận Toán học, sử dụng biểu đồ mà nhóm A dùng.

33. Ví dụ câu hỏi Toán học: Điểm thi
Đặc điểm năng lực
Tình huống
Khoa học
Quy trình
Diễn giải
Phạm vi nội dung
Giải thiết và dữ liệu
Looking at the diagram, the teacher claims that Group B did better than Group A. The students in Group A don’t agree with their teacher. They try to convince the teacher that Group B may not necessarily have done better. Give one mathematical argument, using the graph that the students in Group A could use.

34. III. CẤU TRÚC HÌNH THỨC BÀI TOÁN PISA (UNIT)

35. Cấu trúc hình thức Bài Toán PISA
Sự hiểu biết phổ thông của PISA được đánh giá qua các Bài toán (Unit) bao gồm một tài liệu “stimulus material” (có thể trình bày dưới dạng chữ, bảng, biểu đồ, hình ảnh…) và theo sau đó là một số nhiệm vụ (câu hỏi - item) được gắn kết với tài liệu này
Bài toán giải quyết tình huống thực tiễn, 3 phần:
(1) Tiêu đề : Tiêu đề tình huống thực tiễn
(2) Phần dẫn: Mô tả thực tiễn (với tình huống cần giải quyết)
(3) Câu hỏi : và
Báo cáo số 1 - Quy tắc và Kỹ thuật Mã hóa

36. Giả thiết “ẩn” trong (2), (3) hoặc cả (2) và (3)
Đặc điểm cơ bản
Giả thiết “ẩn” trong (2), (3) hoặc cả (2) và (3)
“Thừa” giả thiết: Mô tả thực tiễn nhiều hơn GT
3. “Thiếu” GT: GT Trong mô tả thực tiễn .

37. IV. PHẦN DẪN (Stimulus material)
PISA 2000 đến PISA 2012

38. Chọn tài liệu cho phần dẫn
Ngữ cảnh phù hợp với học sinh 15 tuổi
Nguồn có thể là một sự việc, sự kiện trong thực tế, báo, tạp chí, ký sự, web. Nên là một nguồn đáng tin cậy.
Không phải “Tạp chí nhà trường.”
Thích hợp với các nền văn hoá và ngôn ngữ.
Nội dung không nên trở thành lỗi thời.

39. Một phần dẫn tốt…
Phần dẫn là thông tin được đưa ra như một ngữ cảnh cho nhiều item:
Hợp lý, phong phú và hấp dẫn;
Có tính thử thách “tối ưu”; không quá khó và không quá dễ;
Không đưa ra những thách thức thiếu tự nhiên và không thực tế;
Có thể gợi ra câu hỏi tìm kiếm;
Bình đẳng và công bằng giữa các nước tham gia (các đơn vị tham gia).

40. Phần dẫn không tốt Đưa ra hành vi phạm tội hoặc phản cảm
Chấn thương (tai nạn oto, bạo lực)
Sex, tôn giáo, chính trị hoặc các vấn đề nhạy cảm khác.
Hành vi xấu xa, bạo lực, phân biệt chủng tộc, vô đạo đức hoặc thiếu trách nhiệm.
Những khuôn mẫu không mong muốn– nghiện hút, nghiện rượu, những cám dỗ dẫn đến nguy hiểm
Ngôn ngữ thô tục
Trông đợi quá nhiều hoặc quá ít vào HS
Phần dẫn dựa trên những kiến thức không quen thuộc
Phần dẫn mà học sinh 15 tuổi cho rằng đó chỉ là thách thức cho những trẻ mần non hay tiểu học.

41. V. THIẾT KẾ CÁC DẠNG CÂU HỎI

42. Các dạng câu hỏi (trong UNIT)
Câu hỏi trắc nghiệm khách quan nhiều lựa chọn đơn giản (Simple multiple choice)
Câu hỏi trắc nghiệm khách quan nhiều lựa chọn (phức hợp) Complex multiple choice
Câu hỏi đóng đòi hỏi trả lời ngắn hoặc dài (dựa trên những trả lời có sẵn) (close – constructed response question)
Câu hỏi mở đòi hỏi trả lời ngắn (short response question); Câu hỏi mở đòi hỏi trả lời dài (open – constructed response question.

43. 5.1. Xây dựng câu hỏi trắc nghiệm khách quan đơn giản
Ron Martin
Dave Tout
Juliette Mendelovits
Workshop for Vietnamese Delegation
August 2012

44. Lưu ý Chuyên gia
Việc viết câu hỏi trắc nghiệm khách quan yêu cầu mức độ kỹ năng cao. Mức độ kỹ năng này là nhân tố rất quan trọng trong việc đưa ra các đánh giá đúng đắn về năng lực và kiến thức.

45. Một số lưu ý về câu hỏi TNKQ
Trường hợp 1
Những học sinh trả lời ‘không biết’ hoặc không thể hiểu câu trả lời để có cơ hội đoán một đáp án đúng trong 4 phương án.
Nếu các phương án đều đáng ngờ thì cơ hội để đoán đúng câu trả lời là khoảng 25% (nếu có 4 phương án)
Tuy nhiên: Nếu học sinh có đủ kiến thức để loại đi một phương án sai thì cơ hội đoán đúng câu trả lời sẽ tăng lên.

46. Trường hợp 2
Câu trả lời đúng và các phương án nhiễu đáng tin cậy đưa ra các gợi ý (hoặc tài liệu để so sánh) khiến học sinh không thể đưa ra câu trả lời.

47. Tuy nhiên
Việc mã hoá và soạn câu trả lời cho câu hỏi TNKQ thực sự đáng tin cậy.
Việc mã hoá thì nhanh và dễ. Máy có thể thực hiện mã hoá những bài khó và phức tạp, từ đó sẽ tiết kiệm được chi phí cho việc mã hoá..

48. Câu hỏi TNKQ tốt Khung/cấu trúc rõ ràng [Khung năng lực PISA]
Phần dẫn có tính xác thực, hấp dẫn:
- Gần gũi với học sinh ở các nước
Thu hút được mối quan tâm của học sinh
Khuyến khích đề cập đến khái niệm, kiến thức, quy trình được đánh giá [tính chất xác thực mức độ cao]
ĐG được khái niệm và phương pháp Toán học; Đánh giá 1 khả năng trong khung năng lực Toán học bao gồm: mục tiêu – ngữ cảnh, nội dung, phương pháp.
Chỉ có một câu trả lời đúng duy nhất
Có nhiều phương án nhiễu đáng tin cậy (nhưng không đúng) và không đưa ra những gợi ý liên quan để chấp nhận hoặc từ chối
Ngôn ngữ mà tất cả HS đều có thể đọc được

49. Câu hỏi TNKQ tốt: Câu đúng (đáp án) phải:
Có cùng độ dài, ngôn ngữ với các phương án nhiễu.
Phải là đúng hoặc là câu trả lời tốt nhất
BẢO ĐẢM NÓ LÀ MỘT (duy nhất).
Các câu nhiễu
Phải là sai nhưng hợp lý.
Không phải là đúng một nửa.
Phải phức tạp song song với đáp án.

50. Thiết kế phương án nhiễu Percentage (%) of world production
Café của chúng ta đến từ đâu?
5 nước đứng đầu về sản lượng café trong năm 2011/2012 là Brazil, Vietnam, Indonesia, Colombia và Ethiopia. Bảng này cho biết sản lượng café hạt của những nước này. Và hạt café được đóng gói thành hàng nghìn bao 60 kg?
Sản lượng café 2011/12
Source: United States DePhầnment of Agriculture, June 2012
Country
60-kg bags 1000s
Percentage (%) of world production
Brazil
49,200
35.8%
Vietnam
21,000
15.3%
Indonesia
8,300
6.0%
Colombia
7,500
5.5%
Ethiopia
6,300
4.6%
Có xấp xỉ bao nhiêu bao hạt café 60kg được sản xuất trên thế giới trong năm 2011/2012?
A. 60,000 B. 70,000 C. 90,000 D. 140,000 E. 150,000

51. VD câu hỏi TNKQ nhiều lựa chọn
Các phương án nhiễu
VD câu hỏi TNKQ nhiều lựa chọn
Câu hỏi ví dụ:
Có xấp xỉ bao nhiêu bao hạt café 60kg được sản xuất trên thế giới trong năm 2011/2012?
Các câu trả lời được tính toán là khoảng 137,000 trong khi xấp xỉ là khoảng 140,000 đến 145,000 (vd. Nếu bạn nói 35.8% là nhiều hơn 1/3 một ít, thì bạn lấy 147,600, do đó câu trả lời là 140,000 được xem là có thể đúng.)
Các phương án nhiễu tốt là cái gì?
35.8% của 49,200 = 17,900 vì vậy 20,000 (chỉ) là một câu trả lời hợp lý – không chắc chắn như nó ít hơn sản lượng của Brazil. Mặc dù đây là cách chung mà một học sinh phải giải quyết vấn đề.
135.8% của 49,200 = 66,813 vì vậy 70,000 là hợp lý
Nếu bạn thêm tất cả 5 giá trị, bạn lấy 92,300 – so 90,000
Thêm 5 của % và lấy 67.2% - so 67.2% x 92,300 = => 60,000
Nhưng tất cả đều thấp hơn câu trả lời đúng – có phương án nhiễu nào cao hơn 140,000 không? 167% x 92,300 = => 150,000

52. 5.2. Xây dựng Câu hỏi nhiều lựa chọn phức hợp

53. Câu hỏi lựa chọn phức hợp
Cho phép đánh giá hiểu biết toàn diện sâu hơn/rộng hơn về một khái niệm hoặc một quy trình.
Có thể giúp giảm bớt nhu cầu đưa ra lời giải trong Toán học
Tất cả các phần trong một câu hỏi phải liên quan đến cùng một khái niệm hoặc một quy trình
Khó khăn là làm sao để sử dụng những từ ngữ ngắn gọn, súc tích để diễn đạt câu hỏi
Nói chung là đối với những câu hỏi dạng này thì học sinh khó giành được điểm hơn.

54. Ví dụ: Chiều cao của học sinh
Trong một giờ học toán, các học sinh đều được đo chiều cao của mình. Chiều cao trung bình của các học sinh nam là 160 cm, còn của các học sinh nữ là 150 cm. Alena là người cao nhất – cô cao 180 cm. Zdenek là người thấp nhất – cậu cao 130 cm.
Hai HS vắng mặt trong giờ hôm đó, nhưng đến lớp trong giờ học hôm sau. Họ cũng được đo chiều cao, và mức trung bình được tính toán lại. Thật bất ngờ là chiều cao trung bình của HS nữ và chiều cao trung bình của HS nam đều không thay đổi.
Từ thông tin này, rút ra được kết luận nào dưới đây?
Khoanh ‘Có hoặc ‘Không’ đối với mỗi kết luận.
Giới thiệu PISA – Phần 2

55. Có thể rút ra kết luận này hay không?
Chiều cao của học sinh
Kết luận
Có thể rút ra kết luận này hay không?
Hai học sinh đều là nữ.
Có / Không
Một HS nam và một HS nữ.
Hai HS cao bằng nhau.
Chiều cao trung bình của tất cả các HS đều không thay đổi.
Zdenek vẫn là người thấp nhất
Giới thiệu PISA – Phần 2

56. Hai HS nữ có chiều cao TB là 150cm Hai HS nam có chiều cao TB là 160cm
Chiều cao của học sinh
Cách chấm điểm:
Mã 1: Tất cả đều là "Không"
Mã 0: Câu trả lời khác
Mã 9: Không trả lời.
Có 3 khả năng:
Hai HS nữ có chiều cao TB là 150cm
Hai HS nam có chiều cao TB là 160cm
1 nam cao 160cm, 1 nữ cao 150cm.
Giới thiệu PISA – Phần 2

57. Câu hỏi lựa chọn phức hợp Jason có thể mua gì với 200 zeds?
Music City đang có chương trình giảm giá. Khi bạn mua hai hay nhiều hơn sản phẩm giảm giá, Music City sẽ giảm 20% giá trị lúc đầu của những sản phẩm này.
Jason có 200 zeds.
Trong đợt giảm giá này, anh ấy có thể mua những gì?
Khoanh tròn “Có” hoặc “Không” cho mỗi tuỳ chọn dưới đây.
Sản phẩm
Jason có thể mua gì với 200 zeds?
MP3 player and the headphones
Có / Không
MP3 player and the speakers
All 3 items – the MP3 player, the headphones and the speakers

58. Câu hỏi lựa chọn phức hợp Phát biểu này có đúng hay không?
Smiths Packaging ghi chép lại những vụ tai nạn lao động. Các bảng biểu chỉ ra số lượng tai nạn mỗi tháng trong năm 2010 và 2011.
Số vụ tai nạn lao động
Tháng
2010
2011
Jan 15 17
Feb 21 28
Mar 34 31
Apr 30 36
May 35 43
Jun
Jul 20 23
Aug 25 27
Sep 19 14
Oct
Nov 18
Dec 24
TỔNG CỘNG:
297
300
Dựa trên dữ liệu này của năm 2011, phát biểu nào sau đây về số lượng trung bình các vụ tai nạn lao động tại Smiths Packaging là đúng?
Khoanh tròn “Có” hoặc “Không” cho mỗi phát biểu sau đây.
Phát biểu
Phát biểu này có đúng hay không?
Trong năm 2011, có 7 tháng mà số vụ tai nạn hàng tháng thấp hơn giá trị trung bình.
Có / Không
Trong năm 2011, the median number of injuries per month was higher than the mean value.

59. TNKQ phức hợp
Tap chí Daily Mail và đài truyền hình Channel 7 ở Zedland đều tổ chức các cuộc thăm dò biến đổi khí hậu.
Mỗi cuộc thăm dò đều hỏi cùng một câu hỏi: “Zedland cần có hành động gì liên quan đến việc biến đổi khí hậu không?”
Đây là kết quả của hai cuộc thăm dò.
Dựa trên thông tin từ 2 cuộc thăm dò, phát biểu nào sau đây là đúng?
Khoanh tròn “Có” hoặc “Không” hoặc “không đề cập” cho mỗi phát biểu.
Phát biểu
Phát biểu có đúng không?
54% tổng số lựa chọn là “Không”.
Có / Không / không đề cập
Có thể là ít hơn 8402 người đã tham gia vào 2 cuộc thăm dò.
Số lượng người xem Channel 7 gấp khoảng 2 lần số lượng độc giả Daily Mail.

60. Dave Tout Ron Martin Juliette Mendelovits
5.3. Xây dựng
Câu hỏi đóng, mở
đòi hỏi trả lời ngắn hoặc dài
Dave Tout
Ron Martin
Juliette Mendelovits

61. Cấu trúc câu trả lời mở MụC ĐÍCH CÂU HỏI:
Mô tả: mô tả ngắn gọn mục đích của câu hỏi. [nên nhất quán với quy trình]
Phạm vi nội dung toán học: không gian và hình khối; thay đổi và mối quan hệ; số lượng; giả thiết và dữ liệu
Nội dung: nghề nghiệp; cá nhân; khoa học; hoặc xã hội
Quá trình: công thức, vận dụng, giải thích

62. Các dạng câu hỏi câu trả lời
Câu trả lời ngắn đối với câu hỏi đóng
Câu trả lời dài đối với câu hỏi đóng
Câu trả lời đối với câu hỏi đóng là câu trả lời có sẵn và duy nhất.
Câu trả lời ngắn đối với câu hỏi mở
Câu trả lời dài đối với câu hỏi mở

63. Câu hỏi với câu trả lời mở tốt
Câu trả lời phải:
Rõ ràng, không mơ hồ.
Các câu trả lời có thể phân vào các câu trả lời tiêu chuẩn.
Tránh những câu trả lời hời hợt
Với câu hỏi yêu cầu trả lời mở, kỹ năng của cán bộ mã hoá và tác giả xây dựng hướng dẫn mã hoá trở nên rất quan trọng trong việc đưa ra các đánh giá đúng đắn và mang tính so sánh.

64. Câu trả lời mở ngắn Câu hỏi với câu trả lời mở ngắn thường là:
Các câu hỏi đơn giản và dễ hiểu hơn
Điển hình một câu trả lời tốt nhất– một câu trả lời số; một tên; chọn một giá trị/vị trí trong biểu đồ hoặc bản đồ; ...
Với một câu trả lời số, cái này được sử dụng khi có quá nhiều tuỳ chọn cho một câu hỏi trắc nghiệm khách quan đơn giản – đôi khi sau thử nghiệm, một CR có thể được đổi thành một MC dựa trên phần lớn các câu trả lời.

65. Câu trả lời mở Gợi ý cho các câu hỏi CR có thể mã hoá tự động:
Câu hỏi cần có bố cục tốt, hướng dẫn rõ ràng, không gây mập mờ...”
Bảo đảm không thể có 50% cơ hội để đoán câu trả lời đúng v.d., không thể trả lời đơn giản “có” hoặc “không”
Nếu đó là câu trả lời bằng số, cố gắng đơn giản hoá nó để mã hoá vd. Kết quả là số nguyên hoặc số thập phân hữu hạn.

66. Xúc xắc
MÔ TẢ: Hình bên phải là hai con xúc xắc. Xúc xắc là các khối lập phương có số được cho theo quy tăc sau: “Tổng số chấm nằm trên hai mặt đối diện nhau luôn bằng 7”
BÀI TOÁN: Trong hình bên phải, ta thấy có ba con xúc xắc được xếp chồng lên nhau. Trên mặt con xúc xắc thứ nhất có 4 chấm.
Có tổng số bao nhiêu chấm trên 5 mặt nằm ngang mà bạn không nhìn thấy được?.
Có………………….chấm
Khối 1
Khối 2
Khối 3
Giới thiệu PISA – Phần 2

67. Xúc xắc
Giả thiết ẩn cho ở phần mô tả: Tổng số chấm trên 2 mặt đối diện luôn bằng 7
Giả thiết thừa: Các chấm trên các mặt xúc xắc (ngoài mặt trên cùng) che dấu GT ẩn
Suy luận: Nhìn thấy cái không thấy (GT ẩn)
Tổng của các giá trị chưa biết là một giá trị đã biết
Hướng dẫn chấm điểm:
Mức Đầy đủ:
Mã 1: Có 17 chấm.
Không tính điểm:
Mã 0: Các câu trả lời khác.
Mã 9: Không có câu trả lời
Khối 1
Khối 2
Khối 3
Giới thiệu PISA – Phần 2

68. Câu hỏi với câu trả lời mở Percentage (%) of world production
Café của chúng ta đến từ đâu?
5 nước đứng đầu về sản lượng café trong năm 2011/2012 là Brazil, Vietnam, Indonesia, Colombia và Ethiopia. Bảng này cho biết sản lượng café hạt của những nước này. Và hạt café được đóng gói thành hàng nghìn bao 60 kg?
Sản lượng café 2011/12
Source: United States Department of Agriculture, June 2012
Country
60-kg bags 1000s
Percentage (%) of world production
Brazil
49,200
35.8%
Vietnam
21,000
15.3%
Indonesia
8,300
6.0%
Colombia
7,500
5.5%
Ethiopia
6,300
4.6%
Brazil sản xuất được hơn Vietnam bao nhiêu bao café 60kg trong năm 2011/2012?
………………………………………………………………………………..

69. Câu trả lời mở ngắn Hướng dẫn mã hoá: Mục đích câu hỏi:
Mô tả: Xem bảng để xác định dữ liệu tương ứng và thực hiện phép tính số học trên dữ liệu
Phạm vi nội dung toán học: Giả thiết và dữ liệu
Nội dung: Xã hội
Quy trình: Sử dụng
Mức đầy đủ
Mã 1: 28,200
28,200 bao
28.2 hàng nghìn
Không đầy đủ
Mã 0: Câu trả lời khác
Mã 9: Không trả lời.

70. Câu trả lời mở dài
Các câu hỏi câu trả lời mở dài là cách để đo mức độ cao hơn suy nghĩ, hiểu biết và việc áp dụng kiến thức của học sinh.
Có một số thách thức trong việc sử dụng các câu hỏi có câu trả lời mở dài:
Soạn Hướng dẫn mã hoá đáp ứng yêu cầu
Thời gian và chi phí trong HƯỚNG DẪN MÃ HOÁ
Duy trì tính nhất quán và độ tin cậy giữa những người chấm khác nhau
Quá trình này thường yêu cầu các hệ thống giám sát tính thống nhất và chính xác của HƯỚNG DẪN MÃ HOÁ.

71. Câu trả lời mở
Các thách thức và gợi ý cho các câu hỏi CR thường được các chuyên gia mã hoá:
Như đối với các câu hỏi câu trả lời ngắn mức độ cao hơn
Câu hỏi cần có cấu trúc cực kỳ tốt, với hướng dẫn rõ ràng, không mập mờ và không (quá) dài
Tránh các câu hỏi quá rộng để học sinh phải giải thích nhiều
Đừng yêu cầu học sinh “tổng hợp quá nhiều tư liệu ở nhiều tài liệu”.

72. Câu trả lời mở
Thách thức và gợi ý cho các câu hỏi CR dài năng lực Toán học thường được các chuyên gia mã hoá:
Suy nghĩ cẩn thận về tư duy toán học mà bạn đang đánh giá và câu trả lời bạn tìm kiếm
Soạn mục đích câu hỏi để bày tỏ mục đích, ý định của câu trả lời và để giúp cho việc hướng dẫn mã hoá/mã hoá
Bảo đảm đáp ứng các câu trả lời khác nhau– các phương pháp khác (đúng); sử dụng các giá trị khác (vd. pi); độ chính xác; từ ngữ, thuật ngữ khác nhau tuỳ thuộc vào khả năng của học sinh.

73. Percentage (%) of world production
Câu trả lời mở
Where is our coffee coming from?
The top five coffee producing countries in 2011/2012 were Brazil, Vietnam, Indonesia, Colombia and Ethiopia. The table shows their total coffee bean production figures. And did you know that coffee beans are packed and measured in thousands of 60-kilogram (kg) bags?
2011/12 Coffee Production
Source: United States Department of Agriculture, June 2012
Country
60-kg bags 1000s
Percentage (%) of world production
Brazil
49,200
35.8%
Vietnam
21,000
15.3%
Indonesia
8,300
6.0%
Colombia
7,500
5.5%
Ethiopia
6,300
4.6%
Isabel khẳng định: “Brazil sản xuất hơn 1/3 lượng café trên thế giới”
Giải thích tại sao khẳng định của Isabel là đúng.
…………………………………………………………………………………………….

74. Câu trả lời mở Mục đích câu hỏi:
Mô tả: giải thích tại sao một giá trị trong bộ dữ liệu được thể hiện dưới dạng tỉ lệ phần trăm lớn hơn một tỉ lệ phân đoạn của bộ này
Phạm vi nội dung Toán học: giải thiết và dữ liệu
Nội dung: xã hội
Quy trình: sử dụng
Mức đầy đủ
Mã 1: Giải thích đúng dựa trên sự so sánh 35.8% và 1/3.
Brazil sản xuất 35.8% sản lượng hạt cafe thế giới, và 1/3 là chỉ 33.33%, vì vậy Isabel đã đúng bởi vì 35.8% lớn hơn.
35.8% > 1/3
1/3 là 33.3% có nghĩa là Brazil sản xuất nhiều hơn 1/3 lượng cafe thế giới
Không đầy đủ
Mã 0: Câu trả lời khác
Bởi vì 49,200 là nhều hơn một nửa (92,300).
Mã 9: Không trả lời.

75. Câu trả lời mở Ví dụ Toán học PISA Bài 1 – Pizzas
Một cửa hàng Pizza phục vụ 2 cái loại pizza tròn có cùng độ dày những kích cỡ khác nhau. Cái nhỏ hơn có đường kính 30 cm và trị giá 30 zeds. Cái lớn hơn có đường kính 40 cm và trị giá 40 zeds.
Bánh pizza nào có lợi thế kinh tế hơn? Đưa ra lý do của bạn.
Mã 1: Đưa ra lý do chung rằng kích thước của bánh pizza tăng nhiều hơn so với giá trị của chiếc bánh, suy ra chiếc bánh lớn có lợi thế kinh tế hơn
HOẶC
Tính diện tích và số lượng trên mỗi zed cho mỗi chiếc bánh pizza để kết luận rằng cái bánh to sẽ có lợi thế kinh tế hơn
Mã 0: Câu trả lời khác [kể cả câu trả lời đúng nhưng giải thích không đúng.]
Nhận xét
Câu trả lời có thể “có” hoặc “không”
Qúa chung– cần giải thích rõ ràng “lý do chung” – vd. Ít nhất là thêm vào một ví dụ
Nghĩ đến tất cả các khả năng- cũng có thể tính zed trên mỗi cm
Sẽ quy cho: 30 cm: = cm2 40cm : 1256 = 31.4 cm2 ?
Hoặc “tôi sẽ tiết kiệm 10 zeds vì tôi không thể ăn một cái pizza lớn, vì thế cái nhỏ là tốt hơn.”

76. Điểm kiểm tra
Biểu đồ cho thấy các kết quả kiểm tra môn Khoa học của hai nhóm là Nhóm A và Nhóm B.
Điểm trung bình của Nhóm A là 62,0 và điểm trung bình của Nhóm B là 64,5. Các học sinh đạt kiểm tra khi điểm số lớn hơn hoặc bằng 50.
Giới thiệu PISA – Phần 2

77. Điểm kiểm tra
Quan sát biểu đồ, so sánh điểm trung bình của hai nhóm, giáo viên cho rằng Nhóm B đã làm bài kiểm tra tốt hơn Nhóm A.
Những học sinh trong Nhóm A chưa nhất trí với ý kiến của giáo viên. Họ cố thuyết phục giáo viên rằng Nhóm B không hề làm bài tốt hơn.
Bằng việc sử dụng biểu đồ, hãy đưa ra lập luận toán học mà các học sinh Nhóm A có thể sử dụng để thuyết phục giáo viên.
Giới thiệu PISA – Phần 2

78. Điểm kiểm tra Hướng dẫn chấm điểm
Mã 1: Đưa ra một lập luận hợp lý; có sự liên hệ với số học sinh đạt kiểm tra và ảnh hưởng không đáng kể của những học sinh không đạt; hoặc số học sinh có điểm cao nhất.
• Nhóm A có nhiều HS đạt kiểm tra hơn Nhóm B (Nhóm A có ít HS không đạt kiểm tra hơn Nhóm B).
• Trong những HS đạt kiểm tra, thì HS của nhóm A có kết quả đồng đều hơn học sinh của Nhóm B.
• Nhóm A có nhiều HS đạt trên 80 điểm hơn nhóm B.
Giới thiệu PISA – Phần 2

79. NHỮNG VỤ TRỘM
Giới thiệu PISA – Phần 2

80. Những vụ trộm Xét đến hai sự so sánh:
Số vụ trộm tăng từ năm 1998 đến 1999 so với số các vụ trộm năm 1998 (số tăng tuyệt đối và số tăng tương đối)
Số vụ trộm tăng từ năm 1998 đến 1999 so với số vụ trộm tăng giữa hai năm trước đó (so sánh số tăng với nhau)
Sẽ có ba trường hợp:
Câu trả lời “Không” bao gồm cả các nhận định chỉ ra rằng việc giải thích đồ thị là không hợp lý.
Câu trả lời “Có” bao gồm tất cả những nhận định chỉ ra rằng việc giải thích biểu đồ là hợp lý.
Câu trả lời “Chưa đủ cơ sở để kết luận” với giải thích hợp lý về biểu đồ “thiếu thông tin”
Đánh giá câu trả lời giải thích biểu đồ là hợp lý hay không, không nên chọn tiêu chí chỉ đơn giản là “Có” hoặc “Không”.
Giới thiệu PISA – Phần 2

81. Ron Martin Dave Tout Juliette Mendelovits
6. MÃ HÓA BÀI THI
Ron Martin
Dave Tout
Juliette Mendelovits

82. Dạng trả lời Tính chất Quy định Mã hóa
Table 2: PISA item types and coding requirements
Dạng trả lời
Tính chất
Quy định Mã hóa
Đáp án nhiều lựa chọn
Chỉ chọn một đáp án trong nhiều đáp án được nêu ra
Không yêu cầu (câu trả lời được nhập trực tiếp)
Đáp án nhiều lựa chọn phức hợp
Lựa chọn trong một chuỗi các đáp án dạng đúng/ sai hoặc có/không
Không yêu cầu (câu trả lời được nhập trực tiếp vào máy tính)
Các đáp án đóng được cho sẵn
Viết câu trả lời ngắn hoặc đáp án tính toán số học, câu trả lời rõ ràng chỉ có một kết quả
Một số không yêu cầu(câu trả lời được nhập trực tiếp vào máy tính);
Mã hóa đối với một số item, gán mã tham chiếu với hướng dẫn mã hóa.
Trả lời ngắn
Câu trả lời ngắn hoặc đáp án tính toán số học, nhưng nhiều cách đưa ra đáp án
Mã hóa, gán mã tham chiếu với hướng dẫn mã hóa.
Đáp án mở
Câu trả lời dài (ví dụ: Yêu cầu lập luận hoặc trình bày chi tiết lời giải

83. Câu hỏi với câu trả lời mở
Hướng dẫn mã hoá
Phải khớp với Mục đích câu hỏi (thêm vào những mô tả chung mà câu hỏi có ý định đánh giá)
Phải có một mô tả chính xác– Mô tả – của mỗi loại mã hoá
Phải nhằm mục đích bao quát TẤT CẢ các loại câu trả lời
Phải bao gồm ví dụ về câu trả lời của học sinh – Câu trả lời ví dụ – cho tất cả các loại

84. Câu trả lời mở Hướng dẫn mã hoá:
Yêu cầu một câu trả lời hoặc một lập luận ngược lại. Hỗ trợ câu trả lời bằng các phép toán.
Trong các câu hỏi Toán học PISA người ta yêu cầu học sinh “Đưa ra lời giải thích của bạn” và viết vài dòng về điều đó.
Cố gắng căn cứ vào hướng dẫn mã hoá và đánh dấu vào các ví dụ trong câu trả lời của học sinh – từ phỏng vấn hoặc thử nghiệm

85. Chấm thi và đánh giá
Chú trọng đánh giá năng lực vận dụng kiến thức, kĩ năng để xử lí những tình huống thực tiễn.
PISA sử dụng thuật ngữ coding (mã hóa). Mã của câu trả lời được quy ra điểm số theo yêu cầu của câu hỏi.
Mã đơn và bội: Mã bội gồm 4 người thực hiện và nhập dữ liệu độc lập, không thống nhất điểm

86. Các Mã trong PISA
Mã 1 chữ số: 0, 1, 2, 9, 7
Mã 2 chữ số: 00, 01,…;11, 12,…;21, 22,…;99, 97
* Chữ số thứ nhất cho biết mức độ trả lời.
* Chữ số thứ hai: đặc tính hay xu hướng của câu trả lời.
* Mã hóa 2 chữ số có hai ưu điểm chính:
- Thu được nhiều thông tin hơn việc hiểu và nhận thức chưa đúng, các lỗi thường gặp và các cách tiếp cận khác nhau của học sinh.
- Biểu diễn mã có cấu trúc hơn, xác định rõ mức độ phân biệt của các nhóm mã
Mỗi mã thường có 2 phần chính:
- Mô tả các yêu cầu đối với câu trả lời để đạt được Mã
- Đưa ra những ví dụ về câu trả lời đạt được Mã.
Sau đó các Mã sẽ được chuyển sang điểm (Score) theo khung và thang đánh giá PISA của OECD
Báo cáo số 1 - Quy tắc và Kỹ thuật Mã hóa

87. Sàng lọc và rà soát lại các câu hỏi
Phối hợp và rà soát giúp lựa chọn được các câu hỏi có chất lương cao hơn.
Các câu hỏi được xây dựng tốt sẽ cho ra dữ liệu tốt hơn rất nhiều trong việc đánh giá kỹ năng và kiến thức của học sinh.
Việc rà soát có thể bao gồm:
Rà soát cán bộ xây dựng câu hỏi:
Một số ít học sinh được tiếp xúc với những câu hỏi này,. Có thể sử dụng phương pháp “Phát ngôn thầm”.
Thử nghiệm: thử nghiệm bộ câu hỏi với số lượng học sinh đủ lớn trong các trường để ước chừng câu hỏi khó, và giúp cho việc xây dựng hướng dẫn mã hoá.
Rà soát bên ngoài: các bên liên quan và các chuyên gia

88. Cách xây dựng báo cáo năng lực PISA
Juliette Mendelovits
Australian Council for Educational Research
August 2012

89. Mô hình Rasch
Các item được đặt vào một thang đo độ khó liên quan đến nhau.
Độc lập về khả năng làm bài thi của học sinh.
Học sinh được đặt vào một thang đo năng lực tương đương với độ khó của câu hỏi.
Không phụ thuộc vào độ khó của các item trong bài thi.
Câu hỏi và học sinh được đặt vào một thang đo tương ứng.
Cho phép xây dựng thang đo như mô tả.
JULIETTE

90. Câu hỏi và HS đặt vào 1 thang đo| X|
XX|
XX|7
XX|
XXX|34
XXX|19
XXXX|23
XXXXXX|12
XXXXXX|
XXXXX|11 22
XXXXXX|
XXXXXXX|
XXXXXXX|2 5 20
0 XXXXXXXX|
XXXXXXXXXX|8 16
XXXXXXX|9 31
XXXXXXXXX|3
XXXXXXXX|18 25
XXXXXXXX|13
XXXXXXX|15
XXXXXXXX|
XXXXXXX|
XXXX|24
XXXX|
XXXXX|
XXX|28
XX|17 X|
Năng lực cao
Câu hỏi khó
JULIETTE
Năng lực thấp
Câu hỏi dễ

91. JULIETTE

92. XD 1 thang đo trình độ được mô tả| X|
XX|
XX|7
XX|
XXX|34
XXX|19
XXXX|23
XXXXXX|12
XXXXXX|
XXXXX|11 22
XXXXXX|
XXXXXXX|
XXXXXXX|2 5 20
0 XXXXXXXX|
XXXXXXXXXX|8 16
XXXXXXX|9 31
XXXXXXXXX|3
XXXXXXXX|18 25
XXXXXXXX|13
XXXXXXX|15
XXXXXXXX|
XXXXXXX|
XXXX|24
XXXX|
XXXXX|
XXX|28
XX|17 X|
Mức 5
Mô tả mức 4
Trình độ học sinh ở mức 4 có thể xxx và xxx và xxxx và xxx . xxx và xxx và xxxx và xxx ... xxx và xxx và xxxx và xxx ... xxx và xxx và xxxx và xxx ... xxx và xxx và xxxx và xxx
Description of item
Mức 4
Description of item
Description of item
Description of item
Mức 3
Mức 2
Mức 1
Dưới Mức 1

93. Thang đo năng lực Toán học 2003

94. Tổng quan về mục tiêu học tập và các thành tựu đạt được
Australian Council for Educational Research
August 2012

95. Mục tiêu tập huấn
Hiểu về tầm quan trọng của khung đánh giá đối với xây dựng đề thi và báo cáo
Học tập về cách lựa chọn phần dẫn tốt
Hiểu biết về các dạng câu hỏi khác nhau, sử dụng chúng khi nào và tại sao.
Thực hành viết và lọc những câu hỏi trong những hình thức khác nhau.
Học tập về quy trình xây dựng đề thi.
Học tập về cách xây dựng thang đo năng lực được mô tả.

96. Phản hồi về Toán học
Thách thức quan trọng nhất bắt đầu ngay từ việc phần dẫn phải mang tính xác thực và phải làm sao cho nó có khả năng đánh giá, đủ đơn giản để học sinh có thể đọc và diễn giải (và để kiểm tra tư duy toán học tốt).
Câu hỏi cần phải có cấu trúc tốt với hướng dẫn rõ ràng, không mập mờ.
Nếu đó là một câu trả lời số, cố gắng đơn giản hoá để mã hoá dễ dàng.
Hãy cẩn thận với các câu hỏi rộng và sẽ khó để mã hoá.

97. Phản hồi về Toán học
Hãy suy nghĩ về tư duy toán học mà bạn đang đánh giá và câu trả lời mà bạn đang tìm kiếm. Không trộn lẫn quá nhiều khái niệm và quy trình.
Việc soạn mục đích câu hỏi là rất quan trọng – vừa để đưa ra mục đích câu hỏi, vừa phục vụ cho việc mã hoá.
Hãy chắc chắn là bạn đã lường trước được lối tư duy, câu trả lời khác nhau của học sinh.
Rất khó để viết được những câu hỏi trắc nghiệm khách quan tốt – vì vậy hãy suy nghĩ cẩn thận về cách để tạo ra những phương án nhiễu tốt.