AI教育白皮书:模型出错时怎么办
本文性质: 观察 + 模型(Observation / Model) 证据标签: 观察 Observation/模型 Model/假设 Hypothesis/实证 Evidence
本篇涉及的证据类型:观察 Observation/模型 Model/假设 Hypothesis。凡属本院课堂观察与教学模型的部分,均不作效果承诺。
学生用生成式工具得到答案,最麻烦的不是错,而是错得很顺。语气笃定、结构完整、还带着看似规范的出处,这些外在特征与内容是否正确没有必然关系。
错得最像对的时候最危险
本院在 AI 课程里有一个固定动作:给学生一段刻意留了一处事实错误的生成内容,让他们判断能不能直接引用。多数学生第一遍读过去没有发现,被指出来之后才说看起来没问题。追问这个看起来指什么,回答集中在三点:说得完整、有条理、不像随口编的。这三点都是对形式的判断,不是对内容的判断。同一批学生里也有少数会先去找出处,他们的共同点不是更聪明,而是此前被要求过为引用负责。需要说明的是,这是课堂上的固定练习与课后作业的汇总,样本有限,也未设对照组,不能据此推断学生普遍缺乏辨别能力,更不能推断工具本身有害。
三类错误:事实、推理、语气
把错误按层次分开,比笼统地讲要核实更有用。事实层是人名、年份、数字、条文与出处,这一层最容易查,也最容易造成硬伤,因为一处错的引用会让整段文字失去依据。推理层是前提正确、中间步骤被跳过、结论已经偏了,这一层最难发现,因为每一步单看都成立,问题出在被省略的那一步。语气层严格说不是错,是过度确定:把有争议的说成定论,把一个案例说成普遍规律,把尚未验证的判断写成结论。三层错误的发现方式完全不同——事实层靠查,推理层靠重算,语气层靠换一种问法,比如要求给出反方理由与不成立的情形。
核对三步:找来源、看推理、改成自己的话
白皮书框架里给了一条核对三步,只用于要交出去、要引用的内容。第一步找来源:任何一个可核对的断言,都要有一个能打开的出处;打不开的,一律标为未核实,不因为它读起来可信就放过。第二步看推理:把被省略的中间步骤补出来,逐步问这一步凭什么,补不出来就是推理层问题。第三步改成自己的话:合上屏幕,用自己的语言讲一遍给别人听;讲得磕绊的地方,通常就是自己没真懂的地方。三步的顺序不能反——出处缺失时,逻辑再顺也没有依托。这是本院的教学模型,用于组织练习,未经信效度检验,也不作为评价学生能力的标准。
三条边界:不因噎废食、不全科查错、不变成惩罚
三条边界。第一,不因噎废食:工具在检索线索、改写语句、梳理结构上确实省时间,一概禁用是把工具问题误当成能力问题。第二,不全科查错:核对有成本,只对要提交、要引用、要公开发布的内容做全套核对,日常草稿不必。第三,不把核对变成惩罚:如果每次用工具都要额外挨一轮审查,学生的理性选择是不用,或者用了不承认。此外,作业与考试中能否使用生成式工具,一律以所在学校与考试机构的规定为准,本院不替任何机构设定规则。
今天就能开始
今天找一段工具生成的文字,只做一件事:挑出其中一个数字或人名,回到原始出处确认它是否成立。
本文依据
- 观察来源: 2024 年至今本院 AI 课程的课堂练习、课后作业与家长反馈汇总,非抽样调查,未设对照组。
- 模型出处: 错误三层分法(事实/推理/语气)与核对三步,为本院教学框架,未见信效度检验。
- 待验证项: 核对习惯在工具情境下形成后能否迁移到无工具情境,为本院正在验证的假设,目前缺乏延时追踪数据。
- 外部文献: Risko & Gilbert (2016) 认知卸载;VanLehn (2011) 人类辅导与智能辅导系统效果比较的元分析;Chi & Wylie (2014) ICAP 参与度框架;Koedinger, Corbett & Perfetti (2012) 知识—学习—教学框架。