教育数字化转型实践｜基于多模态数据的智慧课堂教学互动研究
随着教育信息化进程的不断推进，我国教育信息化建设已由前期的软硬件建设和教学资源开发的数字化教育阶段进入到当前以智慧学习建设和教学方法模式创新为标志的智慧教育阶段。教育部于 2019年启动了智慧教育示范区冶建设项目，以促进信息技术特别是智能技术与教育教学深度融合，推动人才培养模式变革，满足新时代和信息社会创新人才培养需求。智慧课堂作为一种智能技术与智慧教学深度融合的人工生态系统，其核心特征是强互动性，在智慧课堂教学互动研究中，引入新视角、新方法已迫在眉睫。基于以上考量，本研究立足于智慧课堂教学互动的复杂性和多样性，从多模态学习分析的视角，尝试构建智慧课堂教学互动多模态分析框架，探索基于多模态数据的智慧课堂教学互动分析方法，以为大数据背景下智慧课堂研究提供理论支撑和实践探索。
智慧课堂中的教学互动多模态分析
（一）概念解析
智慧课堂：在智慧学习环境中，以互联网、大数据、人工智能等现代信息技术所搭建的智慧学习环境为前提条件，通过师、生、技术三者之间的全向互动而生成的教与学活动的综合体。
多模态数据（Multimodal Data，MMD）是相对于单模态数据而言的，通常将人类获得关于外部世界信息的方式称为模态。
多模态学习分析（Multimodal Learning Analytics，MMLA)是利用多种分析技术对学习过程中的多模态数据 （语言、表情、手势、肢体动作等）进行同步采集、整合处理和融合分析， 以揭示复杂学习环境中的学习机制，为教与学提供科学的、精准化的数据支持的学习分析技术。
（二）智慧课堂教学互动多模态分析框架
本研究重新回到智慧课堂本身，综合考察智慧课堂核心关键特征和多模态学习分析的基本要求以确定智慧课堂教学互动的多模态分析框架。
①七大核心关键特征
- 物理环境、技术使用、灵活布局、资源共享、协同合作、学情分析与及时互动。
②相互关系
物理环境、灵活布局、技术使用以及及时互动是智慧课堂最核心的特征，它们是构建智慧课堂其他特征的基础；
物理环境是智慧课堂最基本的特征， 是智慧课堂区别于传统课堂的基本前提条件，是智慧课堂其他所有特征的基础；
灵活布局为师生活动提供了大量协同合作的机会；
技术使用为资源共享、协同合作与学情分析提供了技术支持；
及时互动则是以语言交互为主体的课堂教与学活动的全面呈现。
（一）ATMB 智慧课堂教学互动多模态分析框架
教学活动，是课堂关系存在的主要载体，多模态学习分析应该从教学活动出发，教学活动既包括以语言交互为主的师生互动；
技术使用，包括师生之间、学生之间借助信息技术而生成的师—技术—生三者之间的互动，为资源共享、协同合作与学情分析提供了技术支持，是智慧课堂区别于传统课堂的重要特征；
位置移动，是教师和学生在教室环境中发生的位置移动， 是下部肢体 （腿部+脚部）运动的观测数据，是智慧课堂教学互动多模态分析的重要方面;
身体姿态，是在教学互动中师生的面部和手臂产生的动作，是上部肢体（头+上半身+手臂）运动的观测数据。
研究设计
（一）研究对象
取国家教育资源公共服务平台 2019 年度部级优课六节（智慧课堂 3 节+多媒体课堂 3 节）
（二）研究方法
采用多模态学习分析方法对智慧课堂教学互动过程进行分析。
（三）数据编码
由两位研究人员按照初步确定的编码体系对同一课例进行以 3 秒为间隔的独立编码；
两位研究人员对初步编码过程中存在争议的部分进行协商，进一步完善编码体系、明确编码规则；
确定“ATMB 智慧课堂教学互动多模态分析编码体系”，该编码体系从教学活动、技术使用、位置移动、身体姿态维度对智慧课堂教学互动进行多模态学习分析。
（一）数据分析
- 多事件共现情形分析—情境视角
1.教学活动（A）单模态交叉分类统计
结果可知，智慧课堂与多媒体课堂单模态教学互动 At-As 分析可知，以师生语言互动为主的教学活动进行单模态数据分析得出的教学互动结果中，智慧课堂与多媒体课堂教学互动类型大体相似，但也存在差异，其中智慧课堂以教师指导、学生主动参与各种学习活动的教学互动更多，表明学生主动参与学习的机会也更多， 而多媒体课堂教学互动以教师提问、学生应答、教师鼓励表扬为主。
2.教学活动与技术使用（A-T）多模态交叉分类统计
智慧课堂与多媒体课堂多模态教学互动A-T多模态分析可知，除技术支持教师讲解—学生听讲、技术呈现内容—教师等待学生活动、技术呈现内容—教师提问—学生主动应答等教学互动序列外，智慧课堂A-T多模态教学互动与多媒体课堂相比有其突出特点：
①教师注重借助技术分享学生学习成果， 并和学生一起对学习成果进行评价反馈，体现了评价主体多元化的教学理念；
②在学生开展技术支持的课堂练习和技术支持的交流合作活动结束时，教师充分利用智慧课堂技术优势进行学情分析，有利于师生双方及时了解学生活动情况。
3.教学活动—技术使用—位置移动—身体姿态（A-T-M-B）多模态交叉分类统计
智慧课堂与多媒体课堂多模态教学互动 A-T-M-B 分析可知，在两类课堂中，教师都注重借助技术辅助讲解或呈现内容进行知识讲解、 等待学生活动和提出开放性问题， 与此同时学生则主动应答或倾听教师讲解，互动过程中，教师在讲台或走廊中与学生交互，学生注视屏幕或倾向教师给予回应。
- 多模态教学过程分析—时序视角
以两个课堂中成果分享与评价教学片断为例进行分析，对比图5和图6可知，在成果分享与评价环节，两类课堂的教学互动表现出各自不同的特点：
智慧课堂的成果分享是由学生将成果提交至教师端，教师通过大屏幕向全体学生展示完成的；多媒体课堂的成果分享是由学生起立读出写在纸上的句子来分享的。
智慧课堂中，学生完成学习成果时，教师会借助信息技术进行学情分析，使师生双方了解学生完成任务情况，，再开展成果分享与评价环节，学情分析是智慧课堂特有的教学互动。
智慧课堂的评价活动由教师和学生共同完成；多媒体课堂的评价活动是由教师主导进行的，学生只展示自己的成果，教师对其进行点评和表扬，再进入下一作品的展示与点评，学生没有参与成果的自评或互评活动。
智慧课堂中，当教师等待学生活动时，教师会走下讲台，来到小组中间观察学生的活动并给予指导；多媒体课堂中，教师始终在讲台上或前排走廊发生位置移动，没有走进小组。
智慧课堂中，教师更加注重学生之间的情感交互，教师会在学生互评结束时，引导全体学生为评价小老师和满分学生点赞。
以上研究从多模态学习分析的视角出发， 对智慧课堂教学互动展开研究，构建了 ATMB 慧课堂教学互动模态分析框架， 进而在具体课例分析的基础上形成了ATMB 智慧课堂教学互动多模态分析编码体系， 并对智慧课堂教学互动多模态数据进行了初步探索分析。一方面，智能技术、物联网技术、社交媒体技术的快速发展和在教育教学领域的普及应用，为教学研究提供了大量的数据基础和工具支撑；另一方面，面对海量的教育大数据，如何选择数据、分析数据、解读数据，以厘清智慧课堂中的“人—机—物”交互作用机制，为教育教学提供科学的、精准化的数据支持成为当前亟待解决的研究课题。
参考文献
[1]童慧,杨彦军.基于多模态数据的智慧课堂教学互动研究[J].电化教育研究,2022,43(03):60-68. 2022.03.008.