教育数字化转型实践｜联合面部线索与眼动特征的在线学习专注度识别
专注是产生有效学习的先决条件，是取得良好学习成效的重要保证，在以自主学习为主的在线学习场景中具有更为重要的作用，但在线学习时空分离的特性难以保证学习者的专注度得到及时监控，故而探究精准识别在线学习专注度的可行方法至关重要。该研究主要关注在线学习中学习者的面部线索与眼动特征，基于从视频数据中提取的面部线索特征以及从眼动数据中提取的眼动特征，分别通过两类单模态特征以及联合二者的多模态特征进行学习专注度识别，采用常用的六种机器学习方法构建相应的评估模型，对六种分类器的专注度预测性能进行了比较，并判断了专注度与学习成效的关系。以期助力在线学习专注度的精准识别，为优化在线学习过程、提升在线学习效果提供有力支持。
相关研究
01 面部线索是识别学习专注度的有效特征
从计算机视觉数据中提取面部线索、身体姿态等特征是识别专注度的常用方法。由于在线学习场景的特殊性，身体姿态难以被完整记录，而通过高清摄像头伴随式地采集学习者的眼睛注视方向、头部姿态、面部特征等面部线索数据易在在线学习场景中实现，因此，从该类数据中提取相应特征并建立学习专注度识别模型，是诊断在线学习专注状态的有效方式，先前大量研究结论也证实了通过以上面部线索识别专注度的可行性。
02 眼动特征具有识别专注度的较高潜力
近年来，随着眼动仪智能化程度的不断提高，眼动追踪技术常被用于多媒体学习领域。根据Just与Carpenter提出的“眼-脑”(Eye-Mind)假设，眼球运动为个体注意力的分配提供了动态追踪的可能，即眼动特征与信息加工机制有着密切的联系。眼动特征中常关注的指标包括视线落点、注视时间及次数、眼跳路径等。
通过现有研究可以发现，结合多模态特征可以显著提升学习专注度评估模型的性能，但目前，多数相关研究集中在从计算机视觉数据中提取的面部线索特征组合上，少有学者同时结合眼动数据预测学习专注度，这种组合可能会为专注度识别补充额外的有效信息，进而提高识别效果。
研究过程与方法
01 实验场景
本研究聚焦在线阅读场景，实验环境设置如图1所示。该学习场景选定在实验室中，室内有可正常使用的办公桌椅、台式电脑等物理硬件，主要光照为日光灯。实验过程中，需要伴随式采集的数据包括面部线索数据以及眼动数据；同时采集能较为客观、准确地反映被试专注度的脑电数据，以标定专注度真值。
02 实验材料
实验以一篇插图文本形式的阅读材料作为实验材料(如图2所示)，材料主题为龙卷风的产生原理，由标题部分、文本部分、插图部分和思考题部分组成。整份阅读材料可完整显示在屏幕上，阅读时间为10分钟。阅读实验完成后，被试需完成由三道思考题组成的后测问卷，三个问题的分值均为6分，根据答案的正确性和完整性程度进行评分。
03 实验对象
北京某高校61名非地理专业视力正常或矫正视力正常的大四学生(24名男生，37名女生)。
04 实验流程
被试到达实验地点后，主试先向其介绍实验过程与注意事项，被试在无疑问后，需填写背景信息问卷，而后主试调试摄像头以确保被试人脸可被完整捕捉，调整Tobii X2-60眼动仪以校准被试眼睛，并帮助被试佩戴脑电头带设备；全部设备连接无误后，被试需进行5分钟的基线测试，之后正式开始实验。
在实验过程中，被试仔细阅读显示器上的学习材料，并在10分钟之内完成阅读。阅读结束后，被试按下键盘上的空格键，由主试保存设备采集的数据并帮助被试摘除设备；而后被试需填写有关学习主题的知识后测问卷，以明确被试对知识的掌握程度。
05 数据预处理
实验完成后，对采集的多模态数据进行检查与筛选，剔除数据采集有误的样本，最终获得55个有效样本，每个样本均包含视频数据、眼动数据与脑电数据。
研究结果
01 学习专注度的分类结果
为了明确结合视频数据和眼动数据提高学习专注度识别的准确性，分别评估了单模态和多模态的机器学习模型的分类性能，如表1所示。根据分析结果，基于从视频数据中提取的面部线索特征的识别学习专注度的效果普遍并不理想，而眼动模型整体的评估效果较好，全部识别性能参数均高于0.500，能较为有效地区分不同的学习专注程度。此外，多模态模型的学习专注度评估性能整体优于基于单个模态的模型。
02 不同特征对专注度分类结果的混淆概率
为了对比眼动模型与视频模型的识别能力，本研究基于混淆矩阵计算了两类特征对专注度类别的混淆概率，如图3所示。通过分析可知，在视频模型中，H被混淆为M的概率是14.3%，反之则为18.2%,M被混淆为L的概率是36.4%，反之为42.1%；在眼动模型中，H被混淆为M的概率是14.3%，反之则为13.6%，而M被混淆为L的概率是18.2%，反之则为21%。可见，眼动特征比面部线索特征对M和L的识别精度更高。总之，相比较而言，眼动特征比面部线索特征具有更强的学习专注度识别能力。
03 眼动特征的有效性验证
为了进一步验证融合常用的面部线索特征与眼动特征识别专注度的有效性，使用配对样本t检验测试了有无眼动特征的学习专注度分类F1分数的差异，分析结果如表2所示。实验结果显示，除了Simple Logistic方法外，其它方法呈现的结果均表现出了不同水平的显著差异。可见，使用从眼动数据中提取的特征明显提高了分类器的预测能力。
04 专注度与后测成绩的相关性分析
为明确专注度与学习结果的关系，判断专注度是否会显著影响学习者的学习成效，本研究对被试在实验过程中的平均专注度与后测成绩进行了相关性检验。分析结果显示，平均专注度与后测成绩在0.001水平上呈中等程度的显著正相关，相关系数为0.536。可见，学习越专注的学习者，其学习成效越好。
分析与讨论
01 眼动特征比面部线索具有更好的识别潜力
通过分类结果可知，基于眼动特征的识别准确率整体高于面部线索，眼动特征的最佳识别准确率可高于面部线索14.5%；根据分类结果的混淆概率，眼动特征对中专注状态与低专注状态的识别精度明显高于面部线索。可见，相较于面部线索，眼动特征具有更好的专注度识别能力，尤其表现在对中专注状态与低专注状态的诊断上，而在在线学习中，低专注状态往往更需师生关注，且也是后续开展学习干预的重要依据：具体来说，若将过多中专注状态混淆为低专注状态，难免造成学习者接受不必要干预的现象，干扰其正常学习；若将低专注状态识别为中专注状态，则会导致相应学习者未能接受必要的教学指导，难以实现在线学习专注度诊断的核心价值。因此，眼动是更具备专注度识别潜力的有效特征。
02 多模态专注度识别效果显著优于单模态
从专注度分类结果中可以看出，融合了面部线索与眼动特征的多模态专注度分类结果整体优于单模态；根据配对样本T检验结果可知，除Simple Logistic方法外，使用其余算法进行多模态专注度识别的效果显著优于仅使用面部线索的单模态识别效果。虽然在视频模型与多模态模型中使用Simple Logistic方法的F1分数未表现出统计显著性，但融合眼动特征后，其识别性能得到了改善，这可能是因为在相同的测试集下，有无眼动特征时错误识别的学习专注度类型几乎是不同的。整体而言，融合多模态特征的专注度识别效果明显优于单模态特征。
03 学习专注度是优化在线学习的重要抓手
根据学习专注度与后测成绩的相关性分析可知，学习专注度会对学习成效产生显著的影响，这也与先前的大量研究结论不谋而合。当学习者将较多的心理资源投入到学习过程中，其能较好地记忆学习内容并对相关信息进行处理与编码，处于摄取知识的最佳状态；若学习者投入的心理资源较少，有效学习将难以发生。可见，专注度是学习状态的重要呈现，故而学习专注度可作为优化在线学习的重要抓手。
本研究收集了学习者的视频数据与眼动数据，从中提取出相关的面部线索特征与眼动特征，进而使用机器学习方法进行在线学习专注度识别。实验结果表明，相较于面部线索，眼动特征具有更好的识别潜力，其体现的信息加工机制更能反映心理资源的投入程度；与单一模态相比，模态融合能显著提高学习专注度识别效果，揭示了面部线索特征和眼动特征对学习专注度识别的互补性；而学习专注度与学习成效显著相关，故而可将专注度作为优化在线学习的主要抓手，从学习材料设计者、教师与学习者等不同主体出发改善在线学习过程，提升在线学习效果。
参考文献
[1]武法提,赖松,高姝睿,李鲁越,任伟祎.联合面部线索与眼动特征的在线学习专注度识别[J].中国电化教育,2022,(11):37-44.