自适应测验:从同一张卷到各走一条路
同一张卷子发给所有人,看起来最公平,但题目难度台阶不随人移动,大量作答落在太容易与太难两段,中间真正能区分水平的信息反而稀薄。本文说明自适应测验靠什么调整、本院读测验结果的三问,并交代题库标定、测量维度与设备经验差异三条边界。

本文性质: 实证 + 假设(Evidence / Hypothesis) 证据标签: 观察 Observation/模型 Model/假设 Hypothesis/实证 Evidence
本篇涉及的证据类型:观察 Observation/模型 Model/假设 Hypothesis/实证 Evidence。凡属本院课堂观察与教学模型的部分,均不作效果承诺。
一张卷子发给所有人,看起来最公平;但同一道题,对甲是送分,对乙是送命。测出来的分数相近,可能只是碰巧在不同位置踩到了同一个台阶。
01同一张卷,测不出每个人的位置

本院在阅卷与讲评里反复看到一种情况:一份卷子上的分数把两类学生压在一起。一类是前面几道都错、后面几道对,属于起步不稳但上限不低;另一类是前面都对、最后两道错了,属于基础扎实但还没碰到真正的天花板。同一个 78 分,两个人的下一步完全不同,可是纸面数字是一样的。问题出在固定卷子上:题目的难度台阶是设计者预设的,不随答题人的水平移动,于是大量学生的作答落在「太容易」与「太难」这两段上,中间那一段真正能区分水平的信息反而稀薄。
02自适应测验靠什么调整
自适应测验(computerized adaptive testing)的做法是让难度跟着人走。学生答对一题,下一题难度往上走;答错一题,难度往下收。这样每个学生的作答都集中在自己的临界区,有限的时间内能取到更多关于他水平的信息。van der Linden 与 Glas 在 2000 年编的专著把背后的统计框架写得比较完整,Wainer 等人在同期的计算机自适应测验导论里补上了工程实现与题库管理部分。近几年国际测评也在用这一思路:OECD 的 PISA 阅读从 2018 年起采用多阶段自适应设计,考生先做一段共同的模块,再根据表现被分配到不同难度的后续模块。需要说明的是,它换来的不是更漂亮的分数,而是更贴合个体位置的估计,所以它输出的最好是一个区间,而不是一个更精确的排名。
03本院怎么读一份测验结果
本院读一份测验结果时,先看三样东西,而不是先看总分。第一,这份卷子的难度台阶落在哪个区间——题目如果集中在最容易的一段,分数只能说明「没落下」,说明不了「会到哪」。第二,学生的错题是分布在前段还是后段,前段错往往是基础环节,后段错往往是迁移环节,两者要的补法不一样。第三,这次测验有没有后续动作,也就是测完之后谁根据结果做什么。没有后续动作的测验,本质上只是一次记录,不是一次诊断。
04自适应不等于更公平
边界有三。第一,自适应要求一个足够大且标定过的题库,题库标定不足时,难度跳变会失真,估计未必更准。第二,它更适合测量单一、可累加的维度;像写作、口头表达这类综合产出,很难只靠难度调整来测。第三,也是最重要的一条:自适应提高的是测量效率,它不自动解决公平问题。相反,早期的计算机化测验在研究中反复被发现存在与设备熟悉程度、界面操作经验相关的差异,这部分差异与被测能力无关。所以把它当成更好的测量工具可以,当成教育公平的解决方案不行。
