Vì sao nhiều thí sinh thấy điểm thi đánh giá tư duy TSA không như kỳ vọng?

Năm nay là năm thứ 2 ĐH Bách khoa Hà Nội tổ chức kỳ thi đánh giá tư duy TSA theo cách mới, nghĩa là cấu trúc đề thi đã được điều chỉnh so với từ năm 2022 trở về trước. Đặc biệt, bên cạnh việc điều chỉnh cấu trúc đề thi, ĐH Bách khoa Hà Nội đã áp dụng một lý thuyết đánh giá mới, đó là lý thuyết ứng đáp câu hỏi (IRT) trong việc đánh giá chất lượng câu hỏi cũng như tính toán điểm thi cho các thí sinh. 

Điều này đã khiến cho thí sinh làm bài thi xong không tự chấm điểm được cho mình, mà phải đợi kết quả chấm từ việc phân tích dữ liệu làm bài của thí sinh. Vì thế, sau khi nhận được thông báo kết quả, nhiều thí sinh bối rối vì điểm số nhận được không như mình hình dung.

Điểm thi là lượng hóa mô hình ước lượng năng lực của thí sinh

Để giải tỏa băn khoăn này cho các thí sinh, Báo Thanh Niên đã có cuộc trao đổi với TS Đặng Xuân Cương, nhà khoa học độc lập có nhiều năm nghiên cứu và triển khai về đánh giá và đo lường giáo dục, một trong những người tham gia tư vấn ĐH Bách khoa Hà Nội triển khai kỳ thi đánh giá tư duy TSA từ 2 năm nay.

Theo TS Đặng Xuân Cương, lý thuyết ứng đáp câu hỏi được xây dựng dựa trên các mô hình toán học để giải thích mối quan hệ giữa khả năng của thí sinh với các câu hỏi đo lường khả năng đó. Với cách tiếp cận của lý thuyết này, tham số của các câu hỏi (như độ khó, độ phân biệt, độ đoán mò, …) và khả năng của thí sinh sẽ được định lượng dựa trên dữ liệu làm bài của nhóm các thí sinh tham gia dự thi. Vì thế, khả năng của thí sinh được ước lượng từ lý thuyết ứng đáp câu hỏi sẽ có sự khác biệt với cách chấm điểm truyền thống.

Với cách chấm điểm truyền thống, điểm thi đơn giản là phép cộng cơ học của điểm số các câu hỏi trong bài thi theo một hướng dẫn chấm cụ thể. Giới chuyên môn gọi đây là điểm thô. Với điểm thô, phần lớn thí sinh có thể dựa vào đáp án để tự chấm bài cho mình, thậm chí nếu bài thi chỉ là các câu hỏi trắc nghiệm khách quan thì thí sinh có thể tự chấm điểm được cho mình sau khi làm bài thi.

Với cách tiếp cận của lý thuyết ứng đáp câu hỏi, điểm thi là một kết quả được thông báo tới thí sinh sau một quá trình phân tích dữ liệu làm bài của thí sinh. Đây là một khâu khá phức tạp về mặt chuyên môn, được thực hiện thông qua phần mềm chuyên dụng và được suy xét một cách cẩn thận thông qua các chỉ số thống kê. Thực chất điểm thi là một kết quả lượng hóa, làm cơ sở để giúp thí sinh biết được khả năng của mình cũng như có cơ sở để so sánh kết quả làm bài của mình với kết quả của tất cả thí sinh khác trong kỳ thi.

TS Đặng Xuân Cương giải thích: “Về nguyên lý, sau khi thí sinh làm bài xong, hệ thống sẽ dựa vào dữ liệu làm bài từng câu hỏi trong bài thi của các thí sinh để ước lượng khả năng của thí sinh, trong đó sẽ có thông tin có bao nhiêu thí sinh trả lời được mỗi câu hỏi tương ứng và đó là những thí sinh nào, mỗi thí sinh trả lời được bao nhiêu câu hỏi và đó là những câu hỏi nào.

Dữ liệu kết quả làm bài của thí sinh sẽ giúp hệ thống đưa ra một mô hình ước lượng khả năng của thí sinh. Từ khả năng được ước lượng này, điểm số đánh giá tư duy sẽ được tính toán bằng cách chuyển đổi về thang đo mà kỳ thi sử dụng (thường từ 0 đến 100)”.

Cùng làm đúng 70 câu nhưng điểm bài thi có thể khác nhau

TS Đặng Xuân Cương cũng cho biết, kỳ thi đánh giá tư duy TSA hiện nay của ĐH Bách khoa Hà Nội là kỳ thi kết hợp việc ứng dụng mô hình ứng đáp câu hỏi một tham số (chỉ quan tâm đến độ khó của câu hỏi) và 2 tham số (quan tâm đến độ khó và độ phân biệt của câu hỏi). Với nguyên lý được nêu ở trên thì một nhóm thí sinh có điểm thô giống nhau nhưng điểm thi TSA của học sinh lại khác nhau.

TS Đặng Xuân Cương nêu ví dụ: “Giả sử bài thi có 100 câu hỏi. Theo cách tiếp cận truyền thống thì mỗi câu trả lời đúng được 1 điểm. Khi đó, nếu 2 thí sinh cùng làm được 70 câu hỏi thì mỗi thí sinh đều được 70 điểm. Tuy nhiên, với cách tiếp cận của lý thuyết ứng đáp câu hỏi thì mỗi câu hỏi trong bài thi sẽ có một độ khó khác nhau và khả năng của thí sinh sẽ được ước lượng dựa vào việc thí sinh đã trả lời đúng ở những câu hỏi cụ thể nào. Và với 2 thí sinh đề cập ở đây, nếu thí sinh A làm được nhiều câu khó hơn thí sinh B thì ước lượng khả năng của thí sinh A sẽ cao hơn thí sinh B. Thêm vào đó, độ phân biệt của các câu hỏi cũng là yếu tố được sử dụng trong việc ước lượng khả năng của các thí sinh. Từ đó, kết quả là điểm được thông báo của em A cao hơn em B”.

Nói một cách dễ hiểu hơn, với cách tiếp cận truyền thống dựa vào điểm thô thì điểm của các câu hỏi được tính cùng “trọng số”, nghĩa là không tính toán đến độ khó, dễ của các câu hỏi đó. Đối với lý thuyết ứng đáp câu hỏi thì điểm của các câu hỏi sẽ có “trọng số” khác nhau, tuy nhiên trọng số này không phải do ý muốn chủ quan của người thiết kế đề thi mà được tính toán dựa trên các mô hình toán học từ dữ liệu làm bài của thí sinh.

Trong quá trình áp dụng lý thuyết ứng đáp câu hỏi, việc phân tích số liệu thi còn sử dụng kỹ thuật so bằng để đưa điểm số của thí sinh về cùng một thang đo chung. Mỗi năm, kỳ thi đánh giá tư duy có nhiều đợt thi, thí sinh được thông báo kết quả không lâu sau khi dự thi (chứ không đợi đến khi kỳ thi hàng năm được tổ chức xong).

Để cho việc tuyển sinh đảm bảo công bằng giữa các thí sinh thi khác đợt, đơn vị tổ chức kỳ thi sẽ lấy thang đo của đợt đầu là thang đo gốc. Với các đợt thi sau, trong quá trình phân tích kết quả thi, kỹ thuật so bằng được ứng dụng để đưa điểm số của thí sinh đợt thi sau về thang đo gốc, sau đó mới cho ra kết quả chính thức của thí sinh. Việc làm này sẽ giúp cho việc so sánh kết quả thi giữa các đợt thuận lợi hơn.