学习分析：数据能看见什么，看不见什么

本文性质： 实证 + 假设（Evidence / Hypothesis）　证据标签： 观察 Observation／模型 Model／假设 Hypothesis／实证 Evidence

本篇涉及的证据类型：观察 Observation／实证 Evidence／假设 Hypothesis。凡属本院课堂观察与教学模型的部分，均不作效果承诺。

在线学习平台每天都在产生数据：看了多久、暂停几次、哪道题重做、什么时候退出。把这些记录下来并不难，难的是判断这些数字到底说明了什么。

点击次数描述行为，不描述掌握

本院在观察学员的线上练习记录时发现两种极端。一种是数字很好看：时长长、次数多、正确率高，但同一批题目稍作变形就做不出来；另一种是数字平平：练习次数少，间隔长，但每次都能完成整段表达。如果只看面板，第二种学员会被判为不投入。

学习分析的两篇综述说了什么

学习分析领域的奠基性综述（Siemens 与 Long 2011）把这一领域的目标定义为理解并优化学习及其环境，同时提醒数据是行为的痕迹，不是心理状态的读数。Tsai 与 Gašević 2021 年对学习分析的综述进一步指出，心理测量效度不足、样本与情境依赖、把相关当因果，是三类反复出现的问题。所谓效度不足，是指在屏幕上测得的东西与教学真正关心的东西之间，缺少经过检验的对应关系：做对一道题，可能因为记住了选项位置，也可能因为真的理解，而这在日志里长得完全一样。简言之，点击次数可以描述行为，不能直接推断掌握程度。

本院把面板叫提问清单

本院使用数据的原则是三条：数据只用于发现需要提问的对象，不用于直接下结论；任何指标变化都要回到具体任务上去确认，比如让学生口头复述一遍；报告里必须同时给出数据的盲区说明。我们把面板叫提问清单，不叫评测报告。

数据量小、隐私风险、指标变形

第一，抓取越细，隐私风险越大，学习记录属于个人信息，收集范围要有边界。第二，指标一旦与考核挂钩，行为就会朝指标变形。第三，本院的数据量还很小，任何个体结论都不具统计意义。

今天就能开始

下次看学习报告时，挑一条最好看的指标，问一句：这条数字能不能用别的方式证明？

本文依据

• 观察来源： 本院线上练习记录观察：高时长高正确率与题目变形后完成度之间不一致的个案反复出现。
• 模型出处： 「数据只用于提问」原则与提问清单命名，为本院课程研发部内部数据使用规范。
• 待验证项： 哪些行为指标能稳定预测掌握程度，目前没有公认答案；本院数据量不足以检验。
• 外部文献： Siemens & Long 2011（EDUCAUSE Review 学习分析奠基综述）；Tsai & Gašević 2021（学习分析综述，指出效度不足、情境依赖与相关当因果三类问题）。