【刊载信息】骈扬, 余胜泉 & 李晟.(2023). 基于认知诊断的有效作业精准化设计. 中国远程教育(08), 13-24.

【摘要】“双减”政策的颁布对义务教育阶段的作业提出了新要求,尤其强调在限定作业量的同时,发挥作业在诊断学情、辅助教学等方面的价值。本文立足于学校教育业态,提出一种基于认知诊断的有效作业精准化设计方法,即利用知识图谱、认知诊断等新一代智能技术,精准选择作业布置点并实现学情的高效诊断和推理。在此基础上,从“紧扣课标”“全面覆盖”“动态连贯”“丰富形式”四个方面阐述了有效作业精准化设计的方法和原则。进一步结合多年在一线中小学实践的经验,介绍了依托“智慧学伴”平台探索出的“四面-一线-四环”有效作业实践模式,以期为教育实践中的有效作业精准化设计提供参考。

【关键词】作业设计;认知诊断;知识图谱;“双减”;义务教育;有效作业;学科能力

作为学习过程的重要组成部分,作业一直以来都是教育理论研究与实践应用所关注的焦点。2021年7月,中共中央办公厅、国务院办公厅印发《关于进一步减轻义务教育阶段学生作业负担和校外培训负担的意见》(以下简称“双减”),强调要“全面压减作业总量和时长,减轻学生过重作业负担”(新华社, 2021),并对义务教育阶段的作业内容、布置形式、指导方式和管理机制等明确提出了新要求。在这一背景下,人们期望设计出更加符合学生年龄特点和学习规律、同时满足其个性化发展需求的作业,通过减少作业总量、提高作业的针对性和有效性,推动“双减”政策的顺利落实,构建良好的教育生态。

进入21世纪以来,大数据、人工智能等新一代信息技术在各行各业不断加速渗透,也为教育教学实践提供了新的思路。将智能化手段运用于作业设计、布置、批改、讲评、分析等环节,不仅能够提高作业的针对性和效率,起到巩固知识、提升能力、促进个体发展的作用,还可以通过持续采集和深入挖掘过程性作业数据,对个人、班级、学校乃至区域的学情进行多维度的全面诊断,为破解教育“规模化”和“个性化”矛盾提供重要支撑。然而,针对学校中最常见的线下作业场景,如何实现针对性分层作业布置、常态化作业数据采集、精准化作业数据分析,是目前面临的难点。基于此,本文将结合学校实际业务需求,遵循学科能力发展规律,介绍如何利用知识图谱、认知诊断等智能技术,探索有效作业精准化设计方法和实践模式,以期在“双减”背景下,优化学校作业设计质量,减轻学生学业负担,促进学生身心健康成长与发展。

一、

“双减”背景下学校作业设计面临的挑战

作业是指依照一定的教学目标,布置给学生在非教学时间完成的学习任务(王月芬, 2018)。其在教育教学中的作用主要体现在以下两个方面:第一,作业自身即为非常重要的学习活动。如教育家夸美纽斯所言,“适当反复和练习可以巩固教学内容”(夸美纽斯, 2005),学生在做作业的过程中,通过对课堂所学知识的自主练习,不断促进学科知识内化、提升能力水平。第二,除了作为必要的学习活动外,作业还是反映教学效果的重要窗口。采用适当方法对过程性作业数据进行分析,有助于学校和教师及时了解学情,诊断群体和个体的学习优势与薄弱之处,发现教学过程中存在的问题,从而有针对性地调整教学策略,实现高效精准的育人目标。

“双减”政策对义务教育阶段的作业提出了新要求,尤其强调作业应当保证“质”与“量”的平衡。以初中学段为例,政策明确指出,初中书面作业平均完成时间不得超过90分钟。按照每周五个工作日计算,一名初中学生一周的作业总时间应控制在450分钟左右。初中阶段所涉及的学科主要包括语文、数学、外语、道德与法治、历史、地理、物理、化学、生物九门,粗略估计,每周平均到每科的课后作业时间仅有大约50分钟。在此要求下,如何利用有限的时间,为每名学生有针对性地设计和布置作业,充分彰显作业在巩固学生知识技能、辅助教师教学设计、培育高阶思维等方面的独特价值,是当前时代背景下的重要教育问题。

学习诊断与学情分析等领域的蓬勃发展,为“双减”背景下的作业精准设计和科学分层提供了抓手,驱动了师生作业观的变化与革新。近年来,随着信息技术在教育领域的逐渐深入应用,研究者和实践工作者们设计出了自适应测试与学习方式(Wainer et al., 2000),在计算机环境下,结合学习者的当前学习情况,由机器自动推荐符合其能力水平的下一道测试题目或学习资源。由于这一方式利用了计算机等智能设备在数据采集和实时计算上的优势,能够随在线作答表现的变化为不同学习者动态选择作业内容,因此有研究者指出,可以基于计算机自适应测试的思想设计“双减”背景下的自适应在线作业系统,根据不同学生的能力水平为其精准推送适量作业,以避免浪费时间去作答已经掌握或完全未掌握的题目,实现作业的减负增效(杨志明 等, 2021)。

诚然,自适应手段能够突破传统作业布置中机械重复的局限。然而,目前线下学习仍然是学校教育中最为常见的业务形态,学生在大多数情况下还是要依赖纸笔开展学习、完成作业和参加考试,若想在不借助智能设备的前提下实时采集纸笔作业数据并动态计算学生的能力水平,显然是存在一定困难的。因此,自适应在线作业在目前学校场景中所能发挥的作用十分有限。面对这一问题,我们亟须借助学情分析等相关技术,探索“双减”背景下的有效作业精准化设计方法,以兼顾知识能力的提升与高阶思维的培育,从而回应家校的育人关切,助力“双减”作业业务的提质增效。

二、

基于知识图谱技术的认知诊断

针对上述挑战,应当如何结合学校教育业态,回应“双减”要求,为学生设计分层、弹性、个性化的作业呢?要实现这一目标,需要回答以下两个核心问题:一是如何精准诊断学生学情,即基于作业作答数据如何准确表征和量化计算学生在知识、能力、素养等维度的薄弱点和优势点;二是如何精准设计有效作业,即基于学情诊断结果如何为每位学生定制任务量合适、满足其个性发展需求的作业,在规定的作业时间内助力学生实现高效成长进步。随着信息科学与教育领域研究的加速融合,包括认知诊断、知识图谱等在内的智能技术和算法,能够为破解上述问题提供关键思路。

(一)利用认知诊断模型开展学情分析

学情是学生现有学习水平的客观反映。对学情进行精准把握,能够为开展精准化的作业设计提供参考,打破“千人一面”的作业布置形态,是设计有效作业的重要前提。在学情表征方面,仅依靠浅层次的题目正确率统计数据远远不够,学生作业作答背后所隐含的知识结构、认知能力等深层次信息,才是真正体现学情、反映教学效果和学习质量的关键因素。因此,开展学情分析需要构建认知诊断模型,来挖掘作业作答数据中蕴含的知识能力要素。

认知诊断模型(cognitive diagnostic models, CDMs)是教育评价领域的技术方法,作为教育测量学和认知心理学的融合研究结果,其核心思想是诊断学生的认知状态,探究其心理加工机制,发现其能力上的优势和存在的问题,从而制定相应的个性化学习和教学干预措施(涂冬波 等, 2008)。与大多数教育评价算法不同的是,认知诊断并不直接根据所考察的知识点来标注习题,而是从能力的视角出发,将习题与解题所需要的认知能力关联在一起,再根据学生的习题作答表现,采用特定算法模型计算出学生的能力水平向量。以认知诊断领域最经典的模型之一——DINA(deterministic inputs, noisy “And” gate)为例(De La Torre, 2009),图1展示了DINA模型的原理和计算流程,其基本思想可以概述为:学习者的习题作答正误,在理想情况下由个体认知水平和习题考察的认知能力两方面共同决定;基于理想情况下的作答正误,学习者在习题上的实际作答结果还受习题的猜测系数和手滑系数影响。基于这一原理,DINA模型可以利用期望最大化(Expectation-Maximization, EM)算法进行迭代求解,从而量化学生的能力水平以及习题的相关参数。

图1 认知诊断原理及输入输出流程——以DINA模型为例

自DINA模型提出以来,许多研究从多种角度对其提出了优化和拓展,如能够表征高层次能力的HO-DINA模型(De La Torre & Douglas, 2004)、适用于多级评分数据的P-DINA模型(涂冬波 等, 2010)、条件更为松弛的一般化G-DINA模型(De La Torre, 2011)等。此外,还有包括规则空间模型(余嘉元, 1995)、NIDA模型(Maris, 1999)等在内的其他认知诊断方法。在实际教育应用中,不局限于具体的模型选择,认知诊断技术能够借由向量等形式来表征学生的认知能力水平,因此可以基于作业作答数据较好地量化和解释其背后所蕴含的多维度学情,为学生、教师和家长等呈现丰富的数据分析视角;在此基础上,教师可结合学习者个体、班级等不同范围的认知诊断结果,解读各个群体的学习薄弱点和优势点,从而有针对性地开展有效作业的精准化设计。

(二)利用知识图谱技术提升诊断效率

“分类明确作业总量”是“双减”提出的核心要求之一。然而,在无法借助计算机自适应手段的线下学习场景中,想要获得细颗粒度的学情,就必须逐一结合每个知识点开展作业的命题、布置和批改,从而计算出学生的认知诊断结果。前文提到,义务教育阶段的课后作业时间有限,分配到每个学科更是如此。如果在各科的全部知识点上依次进行认知诊断,虽然能够得到较为详细的学情分析结果,但所花费的时间总量则会远远超过“双减”的要求,大大增加学生的课后作业负担。同时,并不是所有知识内容都必须要对全部学生进行测试。例如,当一名学生尚未掌握大多数基础知识时,则没有太大必要去继续考察其后续知识的掌握水平,而应当着重帮助其夯实基础。那么,有没有什么方式可以提升认知诊断的效率呢?

作为一种知识的结构化、数字化表示方法,知识图谱(Knowledge Graph, KG)是人工智能符号主义流派的核心技术(余胜泉, 2018),也是新一代人工智能发展的关键共性技术(国务院, 2017)。在教育领域,知识图谱对于知识资源的组织、表示和传递均具有基础性支撑作用。面对庞大的学科知识体系,知识图谱能够利用自身在结构化表征方面的优势,将不同层级的知识点通过具有教育意义的边连接在一起,形成学科知识图谱,直观呈现出学科知识内容的全局分布和微观结构。更进一步,倘若在学科知识图谱上叠加每个知识节点的学情诊断信息,则可以构建出认知地图(万海鹏等, 2021),清晰地反映个体和群体的知识掌握水平与能力结构。图2展示了初中数学某一核心概念下的个体认知地图,可以看到,图中的边呈现了知识点之间的包含关系、前驱后继关系等,节点上的填充情况和百分比信息代表对应知识点的掌握水平。

图2 初中数学学科个体认知地图——以“分数”为例

在学科知识图谱或认知地图中,借助计算机领域的图论、网络相关技术,可以发现图中重要程度较高、代表性较强、影响力较大的关键知识节点,进而选取这些知识点来布置作业和诊断学情,再利用图中边的关系,按照一定的推理规则计算出其他相关知识点的学情,从而实现对图谱的有效覆盖。例如,在图3中,知识点“勾股定理”与多个前驱知识点相关联,如果借助认知诊断模型得出某学生在“勾股定理”上的认知能力水平很高,那么依照“后继知识点水平高则前驱知识点水平也高”的推理规则,无须逐一考察,即可以判断该学生在“三角形”“直角三角形”“二次根式”等知识点上同样也具有较高的认知能力。这样一来,利用一个知识点的作业布置,即可得到四个知识点的诊断结果,实现有效作业的精准化设计。

如何发掘图中的重要节点,是利用知识图谱提升认知诊断效率的关键。早年在计算机和系统工程领域,科学家们依据节点的核心性(Centrality)、声望(Prestige)等特征,提出了多种评估网络节点重要性的指标(赫南 等, 2007),包括节点的度(有向图具体分为入度和出度)、接近度(Sabidussi, 1966)、介数(Freeman, 1977)、核度(许进 等,1993)、PageRank重要性(Brin & Page, 1998)、HITS(Kleinberg, 1999)等。随着人工智能技术的发展,近年来也有研究使用强化学习方法自动发现图中的关键节点(Fan et al., 2020)。在教育实践中,可以借鉴这些节点评价指标,从教育知识图谱或认知地图中挖掘关键节点开展作业布置。一方面,要紧贴实际教育需求,界定不同作业布置场景下关键节点的教育意义。例如,在以前驱后继关系为边的认知地图中,出度大的节点表示对应知识点的后继知识较多,入度大的节点表示对应知识的前驱知识较多,那么在设计基础巩固类作业时可以考虑纳入出度大的节点,从而实现基础知识点的大范围覆盖。另一方面,也要设计合理的推理规则,明确如何基于关键节点的作答和诊断结果,推理图谱中其他节点的知识能力水平(如图3的例子)。

图3 利用学科知识图谱开展认知能力推理

三、

有效作业的精准化设计

在当前教育信息化和“双减”的时代背景下,我们需要依托前文介绍的知识图谱、认知诊断等关键技术手段,积极探索数字赋能下的作业流程再造,进而实现四个方面的效果:一是坚持目标导向的有效性作业,即作业内容紧紧围绕教学目标,检查教学任务的达成情况;二是诊断关键学情的精准性作业,即通过少而精的作业任务实现学情的高效诊断和全面覆盖;三是弥补知识遗忘的连贯性作业,即将认知规律纳入历次作业设计,将作业串联成动态有机的整体;四是培育能力素养的综合性作业,即在评价学科知识掌握情况的同时,兼顾综合素质和高阶能力的发展。

为达成上述目标,本研究借助基于知识图谱的认知诊断技术,指导精准布置、科学分层、动态连贯的有效作业精准化设计。具体而言,可以从以下四个方面着手:

(一)紧扣课标,以学科能力指标体系为目标导向

“双减”背景下的有效作业应当具有明确目标导向,服务于学生的成长发展。义务教育课程标准指出了各学科在不同教育阶段的教学目标、教学内容和实施建议,是指导教师开展教育教学和验证学习效果的重要依据。在进行作业设计时,需要积极寻求与课标相适应、相结合的方式,使学生能够在作业练习过程中面向明确的发展目标,教师能够在学情诊断过程中拥有客观的评价标准。

北京师范大学学科教育专家团队在深入剖析和系统归纳课标中的学科素养和关键能力要素后,提出了学科能力活动表现框架(也称“3×3要素模型”)(王磊, 2016),为课标导向的教学活动设计提供了可操作的模型参考。具体而言,“3×3要素模型”将学科能力划分为学习理解、应用实践、迁移创新三个维度,三个维度各自包含更加细致的二级要素,在不同学科上既具有共通性,又能体现各学科的特点。在这一学科能力指标体系的指导下,学生能够更容易地查优鉴短,全面了解自身学科能力水平;教师能够更精准地设计和实施教学,促进学生的学科能力发展。

“3×3要素模型”所构建的学科能力指标体系同样也可以助力有效作业的精准化设计。如前所述,在提倡形成性评价、过程性评价的今天,作业题的得分不再是衡量学生学习情况的唯一标准;隐藏在作答表现背后的各学科能力水平,才是真正判断教学目标是否达成的关键依据。作为教学目标在学科能力上的体现,学科能力指标体系具有较强的可操作性,能够指导教师在设计作业时围绕课程标准开展。例如,针对初中数学的“有理数”知识点,表1展示了各维度学科能力的指标描述和作业题目示例,不难看出,学科能力指标体系清晰地呈现了各能力维度的含义和区别,基于指标体系所设计的作业题,在“学习理解”维度上侧重于知识概念的直接考查,题干相对简短;在“应用实践”维度上倾向于围绕实际情境出题,可能包含部分干扰条件;在“迁移创新”维度上,题目所隐含的数学概念相对不明显,且运用的技能也更为复杂。因此,以学科能力指标体系为导向,教师在设计作业时可以紧扣课程标准要求,兼顾不同类型的学科知识与学科能力,实现对多维教学目标的有效覆盖。

表1 学科能力指标体系描述和试题示例

(二)全面覆盖,以认知诊断与推理策略为关键技术

“双减”背景下的有效作业应当采用高效诊断算法,减轻学生的作业负担。传统“千人一面”的作业布置形式存在两个主要弊端。一个是作业的内容和难度无法适应所有学生的需求。目前教学中所采用的全班乃至全年级统一的作业布置方式,会使相当一部分学生感到作业内容较难或较易,进而引发畏难、枯燥等负面学习情感,影响学习动机,使学生对作业产生抵触情绪。另一个是作业的“量”和诊断的“质”难以平衡兼顾。由于精准且全面的学情诊断需要依赖全量知识点的作业题目考查,但义务教育阶段科目众多,累加在一起的过重作业负担会影响学生的身心健康成长,因而,学情诊断的精度和广度与作业的数量之间存在无法平衡的矛盾。

基于知识图谱的认知诊断技术能够打破题目内容固定、逐一知识点考察的作业形式,为学情的高效覆盖诊断提供算法支撑。一方面,认知诊断模型可以依托学生作业数据进行认知属性解析,为能力导向、教学目标导向的细颗粒度学情提供有效的表征和计算方法;另一方面,利用学科知识图谱的网状结构,可以从图中发现影响力大、重要程度高的关键知识节点,在此基础上只需要在这些关键点上布置分层作业,并依据认知诊断结果推理出其他知识点的学情,即可在减少作业量的同时实现对图谱的有效覆盖。这一方法的核心思想如图4所示,所需要的关键步骤如下:

一是结合实际业务需求和教师教学经验,确定本次作业的题目总数量(记为N),并利用已有学情数据在学科知识图谱中依次计算每个节点的重要程度。这里重要程度的计算方法可根据实际教学目标来设计。例如,当教学目标为巩固基础、弥补不足的时候,拓扑顺序比较靠前的知识点就较为重要。又如,当教学目标为整体摸排、全面诊断时,则考虑采用度、介数、中心性等方式来衡量当前节点与其他节点的连通程度,以此作为评价节点重要性的依据。

二是基于上一步得到的节点重要性,从整个学科知识图谱中筛选出重要程度排在前N位的知识点,并在这些知识点上基于学科能力指标体系,开展作业设计和标注。

三是结合每位学生的实际学情,在选定的知识点上布置基于学科能力的分层作业,并收集作答数据。例如,对于目前基础知识尚且薄弱的学生,着重选择知识理解维度的基础作业题;对于能够灵活运用所学内容的学生,着重选择应用实践和迁移创新维度的综合作业题。

四是利用认知诊断模型,挖掘学生本次作业得分背后的知识点多维学科能力水平,并推理出其他关联知识点的学情。此处所用到的推理策略,可以基于图谱中的边权信息,利用概率图和复杂网络的推理演化算法来设计,也可以依托学习科学领域的理论方法,借鉴知识空间(Falmagne, Koppen, Villano, Doignon, & Johannesen, 1990)中的属性掌握规则来设计。所得到的学情计算结果将汇总到学情数据库中,用于支持后续作业的布置,形成“基于学情进行作业设计,利用作业开展学情更新”的闭环。

图4 基于知识图谱和认知诊断的有效作业精准化设计与学情推理

(三)动态连贯,以分散测试与遗忘补救为实施原则

“双减”背景下的有效作业应当贯穿于日常学习过程中,实现连续诊断和动态更新。众所周知,学生的知识和技能并不是一成不变的。在布置新一次作业时,如果忽略学生能力随时间的增强或衰退,仅以上一次的诊断结果作为设计作业内容的依据,作业的针对性和有效性就会大打折扣。因此,有效作业的设计,不仅需要确保单次作业的精准性,还应当站在更广的时间维度上进行布局,综合学情的时序变化特征,科学规划不同时间点上的多次有效作业。

如何寻找学情随时间变化的规律呢?学习时刻都在发生,除了作业之外,预习、上课、讨论交流等各种形式的学习活动都可以对学生的知识技能起到提升作用;学习也如逆水行舟,不进则退,对于已经习得的内容,如果没有及时加以复习运用,很可能会日渐遗忘生疏。这些蕴含在日常学习中的习得、遗忘过程,虽然难以被全部采集记录下来,但是将历次作业和考试的数据聚合串接在一起,所形成的时间序列能够反映出习得和遗忘的规律。因此,对多次分散测试和作业的数据进行联合分析挖掘,从知识维度来看,可以找出长期以来存在的共性问题,进而实行精准补救;从时间维度来看,可以得到习得、遗忘的发展趋势和变化速率,丰富学情在时间维度上的表征,进而形成更加符合成长特点的有效作业精准化设计策略。

学情的时序变化规律也能够优化基于关键节点的作业设计方法,助力有效作业的多次连续设计。在前一次作业的学情诊断基础上,结合知识能力水平的动态变化规律,可以预测下一次作业时刻的学情,从而更加有针对性地布置作业。例如,图5展示了纳入遗忘补救因素的有效作业精准化设计思想,图中右侧时刻的学情预测值,是结合左侧前一次作业(t0时刻)的学情和遗忘效应共同计算得到的。更新后的时刻学情考虑了知识能力随时间的变化,可以及时发现那些由于长时间未学习而逐渐被遗忘的内容,并在适当的时机呈现在新一次作业中,帮助学生回忆、补救和巩固知识。与此同时,历次作业所积累的数据,也可用于评价当前的遗忘补救机制是否合理,并通过不断迭代优化,找到最优的分散测试时机与遗忘补救策略。

图5 纳入遗忘补救因素的学情诊断和有效作业精准化设计

(四)丰富形式,以综合测评与项目式学习为拓展方向

“双减”背景下的有效作业应当注重知识能力的应用迁移,适当丰富拓展作业的形式。在当今时代,个体适应未来社会和实现终身发展离不开核心素养的支撑,而单一的学科作业形式难以充分满足核心素养的发展需求。《中共中央 国务院关于深化教育教学改革全面提高义务教育质量的意见》(国务院,2019)指出,作业设计需要寻求创新,强化实践性作业,探索跨学科作业。同时,情境学习理论强调,教学需要密切联系现实生活,促进学生将所学知识与已有经验建立连接,并在实际情境中加以应用。由此可见,多学科的综合实践性作业,是作业设计的未来发展方向之一。

以项目式学习、STEM综合性学习为代表的综合实践性学习形式,能够以实际问题为驱动,整合多学科知识,提升学生解决复杂、真实、劣构问题的能力,是落实核心素养发展的重要途径。将这些“做中学”的方式引入作业设计,使作业内容更加情境化,作业问题更加生活化,作业形式更加多样化,不仅能够实现对多学科知识的综合测评,还可以激发学生兴趣,引导其动手实践、主动探究、与人合作,在日常作业中完成对核心素养和高阶能力的培养。

在开展多学科综合实践性作业设计时,可借鉴项目式学习、STEM学习等设计原则,确保任务的科学性和评价的客观性。例如,基于项目式学习的实践性作业,可以结合生活中的实际问题,参考项目式学习的主要步骤环节,开展一个周期较长的小组协作类型的作业。在这一过程中,通过设计一系列动手探究、科学实验、创意设计等活动,让学生亲身体验如何将所学知识迁移到真实生活场景中解决实践问题。图6展示了一项主题为“制作水果电池”的综合实践作业案例。在这一作业中,三名学生需要观看视频资料和组织讨论,共同解决多个阶段的子问题,最终完成水果电池的设计制作。整个任务由“如何利用身边材料制作电池”这一真实生活问题所驱动,既涉及物理、化学、通用技术等领域的跨学科知识,也考查学生基于视频内容提取信息、联系实际、沟通协作的能力,实现了作业从知识驱动向核心素养驱动的转变。

图6 综合实践性作业“制作水果电池”

四、

“四面-一线-四环”的有效作业实践模式

利用各类教育学经典理论和先进技术方法,北京师范大学未来教育高精尖创新中心(以下简称“高精尖中心”)依托“智慧学伴”平台,在中小学积极推进有效作业的设计与实践(李晓庆 等,2018)。“智慧学伴”是一个面向基础教育的公共服务平台,支持教师在线上课、布置作业、在线学习、班级交流、学伴互动、心理测评、体育运动指导等,自2016年以来已服务北京、广东汕尾等地近二十万名中小学学生和教师。“双减”政策颁布实施至今,高精尖中心立足于一线中小学实际作业需求,利用上述基于知识图谱的认知诊断技术,探索线上线下相结合的有效作业精准化设计与实践模式,在不改变学校常规纸笔作业形态的前提下,师生可以借助点阵笔、扫描仪等硬件设备在线下采集作业作答,并将作答数据汇聚至线上完成诊断和分析,从而实现高效的学情反馈和教学改进,同时丰富作业的内容和类型。基于长期实践经验,作业设计的业态将向前迈进一步,形成 “四面-一线-四环”的有效作业实践模式,如图7所示。

图7 “四面-一线-四环”的有效作业实践模式

(一)模式原则:有效作业的“四面”“一线”

基于前文所述的认知诊断和学情推理方法,有效作业需要面向学生的知识结构、认知水平等细颗粒度学情进行诊断,在学习过程中捕捉学生成长发展的动态规律,并兼顾学科知识的巩固和高阶能力的发展。因此,本研究提出有效作业 “四面”实践原则,包括知识面、认知面、情境面和时间面:第一,应当围绕学科知识内容,结合不同的作业目标和实际学情,相应选择全学科知识图谱中的关键知识节点开展作业布置;第二,应当关注不同认知水平的学习者,在任务选择、学情诊断等过程中将知识拆分为更加细致的认知维度,形成层次丰富的立体学情表征;第三,应当探索适用于真实情境的创新作业设计方法,开展基于大概念的作业任务设计,并适当融入小组作业模式,促进学生在作业过程中培养跨学科整合、沟通协作等高阶能力素养;第四,应当将历次作业看作有机整体,结合日常作业布置的频率,定期开展已学知识的分散测试,对产生遗忘的内容实行补救,从而扩大有效作业在时序上的影响力和辐射力。

在落实有效作业的“四面”原则时,应紧扣学科能力这一“指标线”,引导学生在完成作业的过程中实现知识水平和能力素养的进阶与提升。针对知识面和认知面,应当依托学科能力指标开展作业内容设计和认知诊断推理,教师也需将作业与教学目标和重难点挂钩。针对情境面,教师可参照学科能力指标分阶段设计探究性作业(曹华丽, 2022),在前置作业中聚焦“学习理解”的教学目标,在巩固作业中注重“应用实践”能力的培养,在拓展作业中基于“迁移创新”的原则鼓励学生进一步探究。针对时间面,则需要结合学科能力指标,深入剖析不同阶段的教学目标,理解学生能力的时序发展规律,从而使作业在学生动态成长方面最大限度地发挥作用。

(二)实践过程:有效作业的“四环”

立足于上述“四面”“一线”的模式原则,本研究形成了包括四个关键环节的“智慧学伴”有效作业实践流程,其核心特征是:基于认知诊断的个性化作业设计、精准化布置作答、高效化批阅诊断、针对性反馈干预。

1. 作业设计环节

作业设计是作业布置、数据分析、反馈改进的基础。在设计环节,“智慧学伴”整合线下实际教学过程中的教师经验和需求以及线上汇聚的过程性学习数据,作为从学科知识图谱中筛选作业布置点的依据。图8展示了“智慧学伴”平台中某次作业设计环节的界面图,教师在平台上进行作业范围初选、作业目标设定以及题量设置,系统调用班级的历史学情数据,结合教师指定的作业目标,生成作业范围内的知识点网络关系图,并计算每个节点的重要程度,最终以高亮形式推荐4个作业布置点。此外,“智慧学伴”还结合“时间面”的遗忘补救原则,为教师提供因长期未更新学情信息而需要补测的知识点建议(这些知识点不会被计算在作业总量中)。在此基础上,教师可以选择直接接受系统推荐,并查看从题库中生成的作业习题,也可以在网络关系图中手动微调作业布置点,直至形成满意的作业内容。

图8 有效作业设计环节系统界面

在“智慧学伴”平台的具体实践中,对于不同学习者,在教师设置的作业布置点的基础上,系统会基于学科能力指标线,结合学习者的实际认知水平生成分层作业内容。例如,对于图8中推荐的“勾股定理”作业布置点,学生A的历史学情较为薄弱,因此生成的是“学习理解”层面的基础作业内容;学生B在该知识点上的历史学情无法获取,但总体能力水平达到了“应用实践”,因此生成的是进阶作业内容;学生C对该知识点的掌握水平已经较为优秀,因此,结合作业设计的“情境面”,为其生成动手实践的项目式拓展类作业。三人的作业内容对比见图9。

图9 “勾股定理”知识点下的不同作业内容

2. 布置作答环节

在确定作业布置点和内容后,布置作答环节将作业以适当的形式分发给学生进行作答。为了贴近学校教育中纸笔作业的常规形态,同时便于数据的采集和汇聚,我们在“智慧学伴”的实践应用中,结合不同学校的设备条件和教学习惯,分别探索出基于扫描仪和基于点阵笔两种作业布置形式。基于扫描仪的作业布置,需要使用特定客户端进行作业内容和作答区域的规划,然后印刷并分发给学生,学生在作业纸上使用普通笔作答即可,作答内容待后续统一扫描上传;基于点阵笔的作业布置,需要首先在作业纸上利用软件铺设相应尺寸的点阵,然后印刷并分发给学生,学生在点阵纸上使用点阵笔作答,作答轨迹会被存储在对应的点阵笔中,待后续统一上传汇聚。

3. 批阅诊断环节

在学生完成作业后,对作答结果进行批阅和学情分析。针对作业布置环节的两种作答形式,“智慧学伴”分别采用不同的批阅流程。基于扫描仪的作业,将学生作答扫描上传至平台并切分成不同的习题区域,分发给教师以开展线上批阅;基于点阵笔的作业,需要由教师使用点阵笔开展线下纸质批阅,待批阅结束,统一读取点阵笔中存储的作答和批阅轨迹并上传至平台。所有形式的批阅结果都将汇聚至“智慧学伴”的学情分析模块,通过认知诊断和学情推理,最终得到每位学生的学情信息。

图10展示了“智慧学伴”某学生用户的学情推理功能界面图。在图8所示的本次作业中,知识节点3到节点6以及知识节点9的学情信息可以通过作业试题的批阅结果直接得到;在此基础上,借助知识点之间的内容关联和习得顺序,从认知地图中推理得到知识节点1、2、7的学情,从而拓展本次作业的诊断结果,为基于作业的教学干预提供更加丰富的参考依据。同时,相关诊断推理结果还用于更新学情数据库,实现作业学情在时序上的动态连贯。

图10 学情诊断推理系统界面

4. 反馈干预环节

作业反馈环节是在学情诊断推理结果的基础上,生成多种形式的可视化报告,为学生、教师等各类角色提供反馈建议,指导其开展不同的教学和学习活动。针对线上学习过程,“智慧学伴”平台为各类学情的学习者规划了个性化学习路径,并提供相应的学习资源、微课、练习题的推荐,通过在线自主学习实现能力提升。图11显示了在实践应用中,某学生在本次作业的学情诊断推理后,由“智慧学伴”为其规划的自主学习界面图。从图10可知,该学生在勾股定理知识点上掌握不牢固,因此为其推荐相应的知识小结、难点与易错点点拨的微课资源,帮助其夯实基础,克服学习困难。

图11 反馈干预环节中的自主学习界面

针对学校中的线下学习过程,“智慧学伴”的可视化报告能够帮助教师从多个视角解析学生学情,发现细颗粒度的学生问题,如共性错误模式、常见认知误区、知识理解障碍等,从而引导教师在学校课堂中进行有针对性的点评讲解。此外,通过反馈环节发现的问题,也能够为教学设计提供重点、难点等信息,继续作为作业设计环节的关键输入,形成“作业设计-布置作答-批阅诊断-反馈干预”的闭环流程。

五、

未来展望

随着研究方法和技术手段的不断革新,有效作业精准化设计将释放更大的潜力。结合上述分析,本文对未来的研究与实践提出如下展望。

一是要更深入地研究认知机制,形成更加合理、符合学习规律的作业设计策略。有效作业的设计离不开基于知识图谱的高效选题和基于认知关系的学情推理,而三者所依赖的共同基础是学习者的知识掌握模式和认知发展规律。如果不能准确提炼和表征学习的机理,那么所设计的选题和推理策略将是无源之水、无本之木,无法促进乃至会妨碍学生的发展。学习科学领域的各类研究从不同角度回答了“人是如何学习的”这一问题,能够为作业布置关键节点的选择和学情推理规则的设计提供关键思路。一方面,基于知识图谱的关键节点选择,需要诸如知识空间在内的学习科学相关理论来指导和界定关键节点的含义,从而使选择出的作业布置点不仅是知识拓扑结构上的关键点,也是认知发展过程中的关键点;另一方面,基于认知关系的学情推理,也需要诸如学习进阶、最近发展区等在内的学习科学相关理论提供丰富的认知关系种类和推理规则约束,使得学情推理能够更科学、更精准、更广泛地覆盖到未直接布置作业的节点。因此,未来应当深入研究如何借鉴知识空间、学习进阶、最近发展区等理论的核心思想,设计出适合不同年龄阶段、不同学科领域、不同认知特点学生的有效作业。

二是要更合理地应用智能技术,研制更加精准、具有可解释意义的作业诊断方法。诸如认知诊断在内的教育评价技术,不断拓展模型结构和参数种类,能够更加精细化地表征学习者的认知水平,深入挖掘作业作答数据背后的潜在认知特点和学习需求。与此同时,随着人工智能技术的发展,各类智能算法,尤其是深度学习算法正在加速融入教育评价领域。以深度知识追踪为代表的各类复杂学习者模型,擅长利用神经网络结构对高维认知向量进行动态建模,从而捕捉学习者在时序上的知识掌握和认知变化规律,使得基于作业数据的发展性评价朝更加精准的方向迈进。诚然,由于算法和算力的不断进步,神经网络在准确建模复杂关系上具有独特的优势,能够为解决教育问题提供自动、精准、即时的方案,但其复杂结构和黑箱特性也影响了其在教育中的深入应用。未来,结合作业数据的实际模态,研究者需要加强探索具有解释性的作业诊断算法,并借助可解释人工智能(explainable artificial intelligence,XAI)技术,厘清算法的决策过程和决策依据,剖析作业诊断模型究竟诊断了什么以及是如何诊断的,从而在确保诊断结果准确的同时,进一步追求诊断的“知其所以然”,使学习者和教师能够理解与信任智能技术对作业数据的建模过程,为教学改进提供清晰且可靠的依据。

三是要更实际地指导教育教学,发挥作业在错误诊断、支架设计、教学干预等方面的作用,赋能教师的因材施教和学生的成长发展。学生的作业作答中蕴含了其知识结构、认知过程、能力优势、学习障碍等丰富的信息,是指导教学设计、提升教学干预针对性的重要数据来源。结合学习科学经典理论和人工智能关键技术,未来的作业应当助力更加精细化的教学干预设计。一方面,应当打造支持有效作业设计的异构知识图谱和多维标记体系,建立作业习题、资源与知识、能力、素养、错因等要素的多元链接,使学情诊断结果能够为教育教学提供更为直接和具体的指导;另一方面,应当探索“人在回路”的作业设计和诊断模式,在全面理解作业数据的基础上帮助教师自动归纳共性问题并发现不同学生的认知风格和错误原因,将教师从繁重的作业批阅工作和机械的数据统计任务中解放出来,使教师有更多时间和精力去设计各类教学干预活动,进而使教学能够切实有效地发挥作用,助力每位学生的个性化成长。

参考文献

曹华丽. (2022). 指向学科能力的初中化学探究性作业设计——以“氧气的性质和制取”为例. 现代教学(Z1),175-176.

国务院. (2017-07-20). 新一代人工智能发展规划. 中华人民共和国中央人民政府网站. http://www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm

国务院. (2019-06-23). 中共中央 国务院关于深化教育教学改革全面提高义务教育质量的意见. 中华人民共和国教育部网站. http://www.moe.gov.cn/jyb_xxgk/moe_1777/moe_1778/201907/t20190708_389416.html

赫南,李德毅,淦文燕,& 朱熙. (2007). 复杂网络中重要性节点发掘综述. 计算机科学(12),1-5,17.

夸美纽斯. (2005). 夸美纽斯教育论著选. 人民教育出版社.

李晓庆,余胜泉,杨现民,陈玲,& 王磊. (2018). 基于学科能力分析的个性化教育服务研究——以大数据分析平台“智慧学伴”为例. 现代教育技术,28(04),20-26.

涂冬波,蔡艳,戴海崎,& 漆书青. (2008). 现代测量理论下四大认知诊断模型述评. 心理学探新,28(2),64-68.

涂冬波,蔡艳,戴海琦,& 丁树良. (2010). 一种多级评分的认知诊断模型:P-DINA模型的开发. 心理学报,42(10),1011-1020.

万海鹏,余胜泉,王琦,冯上兵,& 陈敏. (2021). 基于学习认知地图的开放学习者模型研究. 现代教育技术,31(04),97-104.

王磊. (2016). 学科能力构成及其表现研究——基于学习理解、应用实践与迁移创新导向的多维整合模型. 教育研究,37(09),83-92,125.

王月芬. (2018). 作业设计能力——未被重视的质量提升途径. 人民教育(Z2),58-62.

新华社. (2021-07-24). 关于进一步减轻义务教育阶段学生作业负担和校外培训负担的意见. 中华人民共和国中央人民政府网站. http://www.gov.cn/zhengce/2021-07/24/content_5627132.htm

许进,席酉民,& 汪应洛. (1993). 系统的核与核度. 系统科学与数学,13(2),102-110.

杨志明,& 夏胜俊. (2021). “双减”背景下计算机化自适应多阶段测试的设计与算法改进. 教育测量与评价(11),3-9.

余嘉元. (1995). 运用规则空间模型识别解题中的认知错误. 心理学报(02),196-203.

余胜泉. (2018). 人工智能教师的未来角色. 开放教育研究,24(01),16-28.

Brin, S., & Page, L. (1998). The anatomy of a large-scale hypertextual web search engine. Computer networks and ISDN systems, 30(1-7), 107-117.

De La Torre, J. (2009). DINA model and parameter estimation: A didactic. Journal of educational and behavioral statistics, 34(1), 115-130.

De La Torre, J. (2011). The generalized DINA model framework. Psychometrika, 76(2), 179-199.

De La Torre, J., & Douglas, J. A. (2004). Higher-order latent trait models for cognitive diagnosis. Psychometrika, 69(3), 333-353.

Falmagne, J. C., Koppen, M., Villano, M., Doignon, J. P., & Johannesen, L. (1990). Introduction to knowledge spaces: How to build, test, and search them. Psychological Review, 97(2), 201.

Fan, C., Zeng, L., Sun, Y., & Liu, Y. Y. (2020). Finding key players in complex networks through deep reinforcement learning. Nature machine intelligence, 2(6), 317-324.

Freeman, L. C. (1977). A set of measures of centrality based on betweenness. Sociometry, 35-41.

Kleinberg, J. M. (1999). Authoritative sources in a hyperlinked environment. Journal of the ACM(JACM), 46(5), 604-632.

Maris, E. (1999). Estimating multiple classification latent class models. Psychometrika, 64(2), 187-212.

Sabidussi, G. (1966). The centrality index of a graph. Psychometrika, 31(4), 581-603.

Wainer, H., Dorans, N. J., Flaugher, R., Green, B. F., & Mislevy, R. J. (2000). Computerized adaptive testing: A primer. Routledge.

Precise Design of Effective Assignments Based on Cognitive Diagnosis

Yang Pian, Shengquan Yu and Sheng Li

Abstract:The promulgation of the “double reduction” policy has put forward new requirements for assignments in compulsory education, especially limiting the amount of assignments while emphasizing its value in diagnosing academic conditions and assisting teaching. Based on the school education industry, this paper proposes an effective assignment precision design method based on cognitive diagnosis, using knowledge graphs, cognitive diagnosis and other new-generation intelligent technologies to accurately select assignment placement points and realize efficient diagnosis and reasoning of academic conditions. On this basis, this paper expounds the methods and principles of precise design of effective assignments around the four aspects of “closely following the curriculum standard”, “full coverage”, “dynamic coherence” and “rich form”. Further, combined with many years of practical experience in front-line primary and secondary schools, this paper introduces the “four sides-one line-four rings” effective assignment practice model explored on the basis of the “Smart Learning Companion” platform, in order to provide references for precise design of effective assignments in educational practice.

Keywords:assignment design; cognitive diagnosis; knowledge graph; “double reduction” policy; compulsory education; effective assignments; disciplinary competence

作者简介

骈扬北京师范大学未来教育高精尖创新中心博士研究生。

余胜泉,北京师范大学未来教育高精尖创新中心教授。

李晟,中国移动(成都)产业研究院教育行业总监。

基金项目:本文系北京市教育科学“十四五”规划优先关注课题“人工智能教育应用体系构建研究”(课题编号:CHEA21017)的研究成果。

责任编辑:刘莉

2023年第8期目次