跳至内容

CHI’25 满分论文|大语言模型如何支持项目式自学

随着网络资源的日益丰富和大模型能力的显著提升,通过自学获取知识技能变得前所未有的容易。尤其在计算机等学科的学习中,通过完成项目进行自学十分流行。但是由于自学过程中缺乏指引与帮助,自学的尝试往往以失败告终。这份研究全面地探索了项目式自学中学生亟需的支持,并设计实现了自学平台AutoPBLAutoPBL通过提取并共享项目式学习上下文系统性地将大模型嵌入到支持系统的设计中来完成各方面教导职责。用户实验证明通过AutoPBL学习能明确当下时务,因此显著提升学习效果、降低认知负担并且促进元认知提升。
 · 论文题目:AutoPBL: An LLM-powered Platform to Guide and Support Individual Learners Through Self Project-based Learning· 论文作者:Yihao Zhu , Zhoutong Ye , Yichen YUAN , Wenxuan Tang , Chun Yu , Yuanchun Shi

 · 会议信息:The ACM CHI conference on Human Factors in Computing Systems (CHI ’25) · 论文地址:https://doi.org/10.1145/3706598.3714261

一句话概述:本研究提出了一种完全由大语言模型支持的项目式自学平台,全面探索了大语言模型在自学中提供支持的可能性与不足。

文章认可度本篇文章在CHI会议采取的两轮审稿中均获得所有评委给出的一致满分(5分),按往年统计数据,仅有约0.1%的文章能够取得这样的认可。

论文具体内容:

项目式自学,一种高人气学习方式

项目式自学,顾名思义,结合了项目式学习(Project-based Learning, PBL)与自学(Self Learning)两种学习方式。其融合了项目式学习以高学习动机促进学习者深度掌握知识的优势与自学时灵活、自由的优势,从而受到广大学习者青睐。但因为没有好的引导,项目式自学的学习者也面临着两种学习方式的难点,诸如平衡学与做、保持驱动力等。

大模型可以当项目式自学的导师嘛?

凭借其广泛的知识库、自然交互能力与随时可用的特性,大语言模型聊天机器人成为了潜在的项目式自学学伴。但在这类人与聊天机器人的交互中,存在着过度重视完成项目的效率忽视学习过度依赖大模型缺少深思和难以撰写合适的提示词来表达自己的学习需求等问题。

让大模型界面上传帮带”学习者

本研究首先通过访谈人类助教在支持项目式自学过程中的困难、职责与经验明确了平台与智能的功能目标:1)提供有益但不直接的帮助 (2)监控项目进程以维持在正轨 (3)强调关键学习时机 (4)增强学与做的动力。本研究开发了AutoPBL平台来实现这些目标。AutoPBL有三大主要组成部分,分别是以“一口一个”的小教程块组织成的教程传授知识技能;集成引用、预设功能可以在学习上下文中响应学习者提供帮助虚拟助教;以及每个教程块后带领学习者思考或反思并检验学习成果检查点问题。这三个部分对应着人类导师传授、响应式帮助和主动带领引导的行为。

图片

共享学习上下文的生成机制

AutoPBL采取了一个全部由大模型承担多智能体生成架构。该架构接受的输入为用户想学习的项目和当前认知状态与目标的文字描述。此后首先由设计项目的智能体生成二级的项目结构。随着项目进程由总结智能体根据此前教程内容和用户交互总结学习上下文。这个项目进程会作为上下文指导教程内容智能体、检查点问题智能体和虚拟助教的生成,使得教学内容能够匹配学习者的认知进度。特别地,有时教程内容中会包含检查点问题的直接答案(如代码),导致减少了学生思考的机会。为此,AutoPBL使用多一重的复查智能体重新处理教程内容。

图片

AutoPBL对学习与元认知的效果

为了检验AutoPBL的使用效果,本研究设计了与当前惯用的项目式自学模式——配合ChatGPT看教程的对比实验。我们邀请了29位零基础学习者通过两种方式学习两个经典入门机器学习项目,学习每个项目后通过小测、问卷与访谈了解学习效果与学习感受。我们采取了平衡分组counterbalance)的分组方式。特别地,在检验学习效果时只保留了每人学习第一个项目后的数据

图片

实验发现,AutoPBL通过指引当前学习重点显著提升了学习效果。虽然因为AutoPBL总耗时更长,但因为AutoPBL减轻了规划学习的认知成本,所以用户反馈的认知负担反而更低。研究还收集并统计了两种学习方式中学生向AI提问的频率与类型,研究发现AutoPBL显著提高了用户有益提问的频率,且提升主要源于检查点问题引发的思考。与此同时,学生认为自己的学习元认知也有提升。

讨论:以教育为目的的大语言模型

在用户实验中,研究也发现用户不信任大模型生成的教学内容不适应大模型推荐规划的教学方式等现象。这启示我们去思考如何在大模型生成教学内容时有更多可控性。文章认为核心难点在于对学习者认知状态更准确地追踪,并基于此注入高质量的、验证过的教学内容。除此之外,文章也讨论了支持更广泛的项目式学习语境中的学习者自主能动性、合作等行为对于大模型的要求。

作者信息:本文第一作者朱翊豪、叶舟桐均为本实验室在读博士研究生。