AI教育白皮书:对话记录里能看出什么
本文性质: 观察 + 模型(Observation / Model) 证据标签: 观察 Observation/模型 Model/假设 Hypothesis/实证 Evidence
本篇涉及的证据类型:观察 Observation/模型 Model/假设 Hypothesis。凡属本院课堂观察与教学模型的部分,均不作效果承诺。
学生用 AI 学习,留下的不只是成品,还有一段对话记录。这段记录是难得的可回看材料;但它能说明的东西,比很多人以为的少,也比很多人以为的多。
成品只有一个,过程留在了记录里
平时判断一个学生学得怎么样,能看到的几乎只有结果:作业、测验、作文。过程是黑箱。AI 对话把过程留了下来——第一句怎么问、中间改了几次、最后有没有回头核对。本院的观察是,同一个班的学生,成品质量相近,对话记录却可能完全不同:有人第一句就把条件写全,有人反复问同一件事。这些差别在成品里看不见,在记录里看得见。但要先说明一句:记录多不等于有用,聊天记录也可能只是把任务从纸面搬到了屏幕上。
三处值得看的地方:第一句、追问、收尾
本院回看记录时只看三处。第一处,第一句:问题被怎么定义。是「帮我写一篇关于环保的作文」,还是「我要写一篇给初中生看的环保短文,说明为什么要分类,帮我想三个开头」。后者把读者、目的、边界都说了,前者只说了任务名。第二处,追问密度:第二、第三次问的是什么。是换一种说法问同一件事,还是问「这样写会不会太笼统」「有没有反例」。第三处,收尾:有没有核对。用了工具之后,有没有回头查一个事实,或者把一段话改回自己的说法。本院抽样中,追问次数与成品修改次数往往同向变化,但这是相关,不是因果——也可能两者都源于同一个因素,比如学生对任务本身更清楚。
一份四栏自查表
白皮书框架里给了一份四栏自查表,供复盘用。第一栏,我把问题说清楚了吗——读者、目的、限制。第二栏,我给了什么依据——原文、自己的例子,还是空白。第三栏,我改了什么——哪一段被替换,为什么。第四栏,我核对了什么——事实、数字、引用。四栏不必每次都填满,但第一栏与第四栏最好不空。这张表是本院的教学工具,用来组织一次十分钟的复盘,不是量表,也没有做过信效度检验。
三条边界:不作评价、不长期留存、不比数量
三条边界。第一,对话记录不是评价证据。它只能用来复盘,不能作为评分依据,也不该成为监控手段。第二,原始记录不宜长期留存。记录里往往含学生的个人信息与家庭情况,用完即删、只留自己写的那一栏摘要,是更稳妥的做法。第三,不把「问得多」当成「学得好」。追问的质量比数量重要,而质量很难从记录里直接读出来,需要学生本人解释。
今天就能开始
挑一次最近的 AI 对话,只看第一句和最后一句:第一句有没有把目的与读者说清,最后一句有没有回头核对。
本文依据
- 观察来源: 本院 2024 年至今对奥克兰北岸课堂与一对一学生的 AI 对话记录抽样回看(非随机抽样、非对照设计),记录形式为经学生同意的片段摘录,样本以中学阶段为主。
- 模型出处: 四栏自查表出自本院 AI 教育白皮书工作框架,用于组织复盘,不用于测量能力,未经信效度检验。
- 待验证项: 「追问密度与成品修改质量正相关」为本院假设,尚未控制任务难度、工具差异与年级因素,不能读成因果。
- 外部文献: Flavell, J. H. (1979). Metacognition and cognitive monitoring: A new area of cognitive-developmental inquiry. American Psychologist, 34(10), 906-911. Chi, M. T. H., Bassok, M., Lewis, M. W., Reimann, P., & Glaser, R. (1989). Self-explanations: How students study and use examples in learning to solve problems. Cognitive Science, 13(2), 145-182.