两项AI研究为何一个呈正相关、一个试验见负效应?
Same researcher, opposite results

记者并置同一研究者参与的两篇十月工作论文:亚利桑那州中学数学平台使用量与MAP成绩正相关;一所大学按教师随机分配课程AI助手后,成绩和学习平台参与下降。两者工具、学段、比较方式不同,不能直接抵消或概括为AI统一效果。
用一组方向相反的结果训练研究阅读:先区分使用关联与随机分配,再检查实施条件、参与度及测量指标。
来源与核查说明
编辑核对日期:
- 来源类型
- 预印本 · 未经同行评审
- 适用范围
- 两项研究的实施对象均在美国;报道来自美国独立教育媒体。
- 研究设计
- 中学研究为加权倾向得分观察设计;大学研究为教师层级分组随机试验。
- 对象与情境
- 美国亚利桑那州一个学区的中学数学学生;美国一所公立大学跨学科本科生。
- 样本
- 中学分析样本6065人;大学试验2379名学生、30名教师。
- 干预与比较
- Goblins高使用者与低使用或未使用者比较;大学课堂按教师随机获得或不获得AI助手访问。
- 主要发现
- 中学每周至少解两题的使用与MAP数学成绩高约0.11标准差相关;大学开放课程AI助手组的期末成绩低0.37标准差、学习平台参与低0.90标准差。
- 结果与不确定性
- 中学估计不能排除动机等未测量混杂;大学结果与课堂评分、平台日志覆盖范围有关,不能泛化到所有AI工具。
- 资助与利益关系
- Goblins论文披露Accelerate资助及平台团队合作;大学论文资金与利益披露需在后续版本复核。
阅读限制
- 两篇均为工作论文;尚未完成正式期刊同行评审。
- 中学论文13%平台用户未能匹配行政记录,且已登记计划与最终估计口径有调整。
- 大学试验的课程成绩不是统一外部测验,非本工具AI使用不可完整追踪。
本站解读
基于所列来源的原创分析。研究发现、政策目标与编辑判断分别表述;原文权利归来源所有。
同一研究者、两项AI研究:差异在哪里
2026年11月2日,《Hechinger Report》把两篇十月工作论文放在一起报道,标题强调“同一研究者、相反结果”。这句标题容易引出简单的赞成或反对判断,真正有价值的地方却是把两种研究对象、实施方式和识别方法逐一拆开。第一篇研究的是亚利桑那州一个学区使用Goblins数学练习平台后的成绩关联;第二篇研究的是马里兰大学课程内开放一款生成式AI助手所产生的随机试验结果。两篇都含有Jing Liu,但它们并非同一工具的重复试验,更不是同一总体的正反复验。
第一项研究到底比较了什么
Goblins由教师创建班级并分配数学题。学生可以输入文字、画图或说话获取反馈。研究覆盖2025—26学年一个学区的中学数学教学,分析样本为6065名学生;约一半达到平均每周解两道题的使用门槛。研究者利用此前成绩、背景等可观察信息,以加权倾向得分设计比较高于使用门槛者与低使用或未使用者。论文摘要报告,高使用与学区内标准化MAP数学成绩高0.11个标准差相关;更高使用组的关联数值更大。这里的关键词是“相关”。教师可能因学生困难而指定练习,学生的动机、家庭支持与平台使用也可能同时影响成绩。加权可以平衡已记录的差异,无法消除未测量的差异,因此不能把0.11写成平台造成的增益。研究还披露约13%的平台用户未能与学区行政记录匹配,这进一步限定了可分析人群。论文由Accelerate资助,并披露与平台团队合作;这些关系需要随结果一并呈现,不能据此直接否定研究。
第二项研究为什么更能谈因果
大学研究在一所美国公立大学招募30名教师、2379名本科生。研究者按课程或相似课程分组,再随机分配教师所在的课堂能否使用整合进课程平台的AI助手。工具可利用课程资料作答;研究比较的是提供这一助手的课堂,与没有提供助手的课堂,而不是要求每名学生以同一方式使用它。原论文摘要报告,提供助手的课程期末成绩低0.37个标准差,学习管理系统参与低0.90个标准差,第一代大学生的成绩损失估计更大。随机设计使该实施条件下的比较更接近因果解释,但仍要看实验执行。论文说明三位未启用工具的教师被排除在分析样本之外;不同课堂的评分与在线活动机会也可能不同。期末课程成绩不是统一外部测验,平台日志只覆盖可见的学习活动,校外使用其他AI工具更无法完整追踪。因此,结果支持警惕“把助手嵌入课程后可能挤出原有学习参与”,并不证明所有AI辅导工具都降低学习能力。
为什么方向会不同
两项研究的学段、科目、工具任务和教师角色都变了。中学平台把练习题和反馈绑在教师分配的数学活动里,主要观察持续使用者;大学助手作为课程资料入口出现,试验识别的是提供使用机会的效果。前者可能吸引了本来愿意练习的学生,后者可能改变了课程参与习惯。报道提出学生转向外部聊天工具等可能机制,但现有数据并未把这些机制逐一验证。不能把一个关联研究与一个随机试验当成同等强度的投票,也不能把它们平均成“AI效果为零”。
给教学决策的用法
如果学校想试用AI,先明确要改进的具体任务:是帮助学生完成更多练习,还是解释课程材料,还是提高提问质量。为每种用途确定比较组、实际使用记录、独立学习结果和可能的替代活动。尤其要把“开放工具”“有人使用”“学习发生”分开;平台上线率不等于投入,投入也不自动等于成绩提升。教师应检查反馈是否使学生继续思考,或只是更快取得答案。现阶段,较稳妥的结论是:实施场景与测量方式足以改变我们观察到的方向,学校需要针对自身课堂作小范围、可检验的判断。两篇都是工作论文,后续版本和同行评审状态仍需跟踪。
来源:The Hechinger Report · hechingerreport.org