教育数字化转型实践｜基于学科知识图谱的智能化认知诊断评估方法

认知诊断评估是新时代教育评价改革的重要着力点，而现有认知诊断评估方法存在认知模型构建效率低、可解释性差的问题，同时认知测量模型也因缺乏语义化的认知模型而导致精度不高。对此，文章提出基于学科知识图谱的智能化认知诊断评估(ICDA-SKG)方法，内容包含学科知识图谱和认知测量模型两个部分，其实现涉及学科知识点抽取、知识点语义关系识别、特征矩阵计算、认知状态评估四大关键技术。之后，文章采用算法模型对比实验、实际应用对比实验，分别对表征认知模型的学科知识图谱和融入学科知识图谱的认知测量模型进行了实验验证，结果表明:ICDA-SKG方法具有有效性和实用性。文章的研究成果可为智能化认知诊断评估提供新思路，并为教育评价实践提供方法指导。

认知诊断评估方法的研究现状

认知诊断评估是认知心理学和心理测量学相结合的产物，包括认知模型和认知测量模型。

认知模型的研究现状

认知模型是进行认知诊断评估的基础，由认知属性及其关联关系构成。目前主流的观点认为，认知属性对应于教育学中广义的知识点。

认知属性及其关联关系的确立过程就是认知模型的构建过程，现有的认知模型构建方法大致可以分为两大类：(1)人工构建方法，即通过文献分析法、口头报告法、专家咨询法等人工操作来构建认知模型。(2)基于数据驱动的自动化/半自动化构建方法，即利用学习者表现数据，通过机器学习或数据挖掘获得数据中隐含的认知属性及其关系。

认知测量模型的研究现状

目前，国内外研究者已经开发出了100多种认知测量模型，大致可以分为三大类：(1)潜在特质模型，是指建立在项目反应理论基础上的认知测量模型。(2)潜在分类模型，其思路是利用测评数据对学习者的认知模式进行分类。(3)基于机器学习的认知测量模型，主要采用分类、聚类等机器学习算法对学习者进行认知模式归类。

梳理现有的认知诊断评估方法研究成果，可以发现：认知模型的构建主要以人工构建为主，虽然也有少量研究探讨了基于数据驱动的自动化/半自动化构建方法，但在可解释性方面存在局限；认知测量模型的研究开始由传统的概率统计模型向人工智能方向转变，但其诊断效果因缺乏语义化的认知模型而导致精度不高。因此，如何构建高效且具有语义的认知模型并将其与认知测量模型有机融合，是本研究要重点探讨的问题。

基于学科知识图谱的智能化认知诊断评估方法

针对现有认知诊断评估方法存在的上述问题，本研究提出基于学科知识图谱的智能化认知诊断评估（Intelligent Cognitive Diagnostic Assessment based on Subject Knowledge Graph,ICDA-SKG）方法，如图1所示。

学科知识点抽取

学科知识点抽取可以转化为自然语言处理中的序列标注问题。目前，解决序列标注问题的主流做法是融合双向长短期记忆网络（Bidirectional Long Short-Term Memory,Bi LSTM）和条件随机场（Conditional Random Field,CRF）进行建模。由于触发词（Trigger）在学科知识点抽取中的作用至关重要，故本研究提出融合触发词的Bi LSTM-CRF模型，即Trigger-Bi LSTM-CRF模型。

触发词分析与提取

课程标准、教学设计、电子教案等教学文档在语言表达上通常采用“行为动词+名词或名词短语”的形式，来描述知识技能的教学目标和达成度。本研究结合布鲁姆教育目标分类学，从结果性目标、体验性目标两个方面分别提取表征知识技能目标水平的行为动词，以生成知识点的触发词表。

模型的网络结构设计

Trigger-Bi LSTM-CRF模型可以形式化描述为：假设教学文本语料中的每个句子表示为(x1,x2,…,xn)，每个文本语句包含多个知识点(k1,k2,…,kn)，每个知识点ki对应若干触发词(t1(i),t2(i),…,tn(i))，已知模型的输入为(x,k,t)，求解文本语句对应的标签序列(y1,y2,…,yn)。

知识点语义关系识别

知识点语义关系识别过程可以抽象描述为：对于给定的教学文本语句(x1,x2,…,xn)和句中已标定的学科知识点e1、e2，预测两个知识点之间存在各类语义关系的概率值p。而卷积神经网络（Convolutional Neural Network,CNN）在提取局部特征方面具有显著优势，因此本研究构建了基于CNN的知识点语义关系识别模型，其结构如图2所示。

特征矩阵计算

认知诊断评估的本质是在认知模型的基础上进行特征提取和模式识别。其中，特征提取是指对Q矩阵理论包含的可达矩阵、缩减矩阵等进行矩阵计算，其目标是建立理想属性掌握模式和理想反应模式之间的对应关系，具体过程如下：

可达矩阵生成。
缩减矩阵生成。
理想属性掌握模式生成。
理想反应模式生成。

认知状态评估

认知状态评估是认知测量模型的关键步骤，直接决定着认知诊断评估结果的准确性。由于深度神经网络具有强大的非线性拟合能力和自适应学习能力，而且能与学科知识图谱很好地融合，故本研究采用深度神经网络进行认知状态评估。

基于学科知识图谱的智能化认知诊断评估方法的实验验证

为验证ICDA-SKG方法的有效性和实用性，本研究通过算法模型对比实验、实际应用对比实验，对表征认知模型的学科知识图谱和融入学科知识图谱的认知测量模型进行了实验验证。

表征认知模型的学科知识图谱实验验证

算法模型对比实验

本实验首先采集了七年级数学相关的电子课本、课程标准、知识点清单、教学设计、电子教案等教学文本数据；接着，聘请数学学科教师，采用BIO标注模式（B表示首部，I表示中部或尾部，O表示非知识点），使用标注工具Brat对数据进行小样本标注，最终获得31563条教学文本语料；然后，按照8:2的比例，将语料划分为训练集和测试集；最后，采用Python语言进行编程实现，选用准确率、召回率、F1值对学科知识点抽取效果和知识点语义关系识别效果进行模型对比。

实际应用对比实验

本实验采用多组随机实验，来验证表征认知模型的学科知识图谱在构建效率上的优势，每组均随机选取10篇教学设计文档进行认知模型的人机标定效率对比实验。结果表明：当认知属性（知识点）的数量少于8个时，人工标定认知属性及其关系的平均用时为14min/篇，而ICDA-SKG方法生成认知属性子图的平均时间为67.2s/篇；当认知属性的数量超过8个时，人工标定会受复杂语义关系的影响导致标定精度和标定效率明显下降，而学科知识图谱的标定结果基本不受影响。由此可以证明，ICDA-SKG方法中的学科知识图谱能够显著提高认知模型的构建效率。

融入学科知识图谱的认知测量模型实验验证

算法模型对比实验

本实验采用云服务方式，将融入学科知识图谱的认知测量模型集成到电子书包中，选取长春市C中学七年级2个自然班的98名学生为实验对象，其中A班为实验组、有48人，B班为对照组、有50人，实验周期为7周。

实际应用对比实验

本实验采用前后测对比实验法，对认知测量模型的实际教学应用效果进行实证分析。在实验过程中，本研究将第1周所得测评数据作为前测数据，将第2～7周所得测评数据作为后测数据。对照组和实验组由同一教师进行授课，授课内容、授课进度、授课时长、教学方法基本相同。

通过上述算法模型对比实验、实际应用对比实验，本研究发现：ICDA-SKG方法中的学科知识图谱在保证学科知识点抽取效果与知识点语义关系识别效果的同时，能够显著提高认知模型的构建效率；融入学科知识图谱的认知测量模型能够有效提高诊断结果的精度，且具有教学实用性。由此可见，本研究提出的ICDA-SKG方法具有有效性和实用性。

综上，教育评价事关教育发展方向，而智能技术赋能教育评价改革。利用智能技术构建高效且精准的认知诊断评估方法，是智能时代深化教育评价改革的重要方向。本研究将学科知识图谱引入认知诊断评估，解决了现有认知模型构建效率低、可解释性差的问题，且语义化的学科知识图谱提升了认知测量模型的精度；同时，通过算法模型对比实验、实际应用对比实验，验证了ICDA-SKG方法的有效性和实用性。但是，本研究构建的ICDA-SKG方法中的学科知识图谱仍是“面向学科知识”的价值取向，尚未很好地体现对学科能力、学科素养的关照。此外，本研究在实际应用对比实验中所用的样本量很小，有待经过大样本数据的实证检验。基于此，后续研究将从学科核心素养入手，构建相应的素养图谱、能力图谱，实现对学习者多层次、全方位的认知状态评估，践行“素养导向、能力为重”的学习评价新理念；同时，将扩大实验的样本量，进行更有力的实证分析和检验，以期为教育评价改革的智能化转型提供更科学的方法支持。

参考文献

[1]李振,周东岱.基于学科知识图谱的智能化认知诊断评估方法[J].现代教育技术,2022,32(11):118-126