多模态数据集成的在线学习智能评估方法

多模态数据集成的在线学习智能评估方法

 张国凯1 ,江浩玉1 ,卢金典1

1. 上海理工大学，光电信息与计算机工程学院，上海，200093

Intelligent Assessment of Online Learning Performance Based on Integration of Multimodal Data

       Guokai Zhang1，Haoyu Jiang1，Jindian Lu1

摘 要：实现精确的在线教学评估对于建立科学的教学评估机制非常重要。近年来，随着人工智能技术的发展，利用多模态数据进行分析和挖掘，可以为在线教学评估提供新的思路。本研究提出了一种基于多模态数据结合人工智能技术的在线教学评估模型，该模型使用多模态数据分析在线学习平台资源和教学数据，构建基于智能评估的模型，以预测学生的学习效果，实现智能化的教学评估。

关键词：多模态数据；人工智能；在线教学评估

1.引言

随着在线教育的发展，如何准确地了解学生在线学习过程中的学习情况和效果，提供实时的教育指导和个性化的学习支持，变得至关重要[1-4]。近年来，人工智能技术的快速发展给在线教学评估带来了新思路和新方法[5-8]。在这种背景下，本研究提出了一种基于人工智能技术的在线教学评估模型，通过多模态数据分析在线学习平台的资源和教学数据，构建智能评估模型，以预测学生的学习效果，实现智能化的教学评估流程。

该模型通过分析学生的表现数据和学习行为，进一步预测学生学习效果，为学生提供个性化的学习建议，同时也可以及时调整教学内容和方式，以适应学生的学习需求和行为特点。此外，该模型还可以对学生的学习效果进行实时跟踪和监控，将教学评估过程智能化和标准化，并为教学过程提供全面的数据支持和参考意见，以帮助教师和学生共同实现教与学的优化和提升。

2研究方式和思路

本研究的目标是使用多模态数据结合人工智能技术实现智能评估，提高在线学习平台的教学质量和学生成绩。在智能评估方面，我们设计了一个神经网络模型用于在特定场景下的学生学习效果预测。具体而言，本研究采用了一个基于卷积神经网络 (CNN) 和递归神经网络 (RNN) 的融合模型对学生成绩进行预测。在这个模型中，对于每个学生，我们分别将其历史学习行为序列、作业练习完成记录、考试表现等数据作为输入，通过计算学生的学习正确率、错误率、作弊行为等特征，结合学生的基本信息 (如课程、年级等)，来预测这个学生在学习场景下的表现。

3.1 数据预处理

为了提供更好的教学质量和学生成绩，本研究通过多模态数据分析，对在线学习平台资源和教学数据进行分析和处理。考虑到数据获取的难易程度，本研究采用了物理性数据采集与网络爬虫相结合的方法来获取数据。在数据预处理中，我们需要对数据进行缺失值处理、数据标准化以及数据重构等步骤。对于缺失数据，采用插补方法进行处理。对于数据标准化，采用z-score标准化法，将数据缩放到相同的尺度上。而对于数据重构，采用主成分分析和因子分析等技术，将多维度的数据转化为低维特征表示。

3.2 模型特征学习

本研究采用了卷积神经网络 (CNN) 和递归神经网络 (RNN) 相结合的融合模型，用于学生学习成绩预测。该模型可以针对每个学生采用不同的输入数据，包括历史学习行为序列、作业练习完成记录以及考试表现等数据。通过计算学生的学习正确率、错误率和作弊行为等特征，并结合学生的基本信息 (如课程、年级等)，实现学生在学习场景中的表现预测。

首先，在学生学习成绩预测中，由于学生的学习行为记录可以被视为时间序列数据，每个时间步骤可以被看作是一个帧，我们可以将其转换成一个类似图像的形式。具体地，我们将学生的历史学习行为序列编码成一个多通道序列矩阵。矩阵中的每行表示一个时间步骤，每列表示一个特定类型的学习行为，例如阅读、视频观看、问题解答等。因此，对于一个学生的历史学习行为序列，我们可以得到一个多通道的矩阵，其中每个矩阵元素对应于一个具体的学习行为。接着，将这个多通道的矩阵作为输入传递到CNN中进行建模，即对每一个学习行为类型进行特征提取，其中CNN的具体结构包括卷积层、激励层和池化层等，其中卷积层可以捕获空间上的局部特征，激励层可以引入非线性因素，而池化层则可以帮助我们获得一个更加高层次的特征表示。

在学生学习成绩预测中，学生的作业练习完成记录、考试表现等数据都是时序数据，因此需要使用适当的模型来捕捉这些数据之间的依赖关系。递归神经网络（RNN）由于具有记忆功能，可以将先前的数据或状态传输到后续时间步骤中进行建模，因此是一种适合于处理时序数据的网络结构。对于学生的作业练习完成记录和考试表现，我们可以将每个学生的成绩作为多个时间步骤的序列输入到RNN中进行建模。在这个模型中，每个时间步骤都有一个对应的输入，例如一个学生在第1个时间步骤完成了一项作业，第2个时间步骤完成了另一项作业，第

3个时间步骤参加了一次小测验等等。在训练过程中，使用损失函数和优化方法，使得模型在训练集上的预测误差最小化。

3.3模型特征融合

在学生成绩预测中，特征融合是非常重要的一步，可以将来自不同模态的特征进行融合，以获得更高效的特征描述子或更稳健的预测结果。在本研究中，模型采用加权求和、平均值、最大值和最小值四种方法进行特征融合，并将不同方法预测的结果进行取平均操作以获取最终结果。其中，加权求和方法将两个多模态学习网络的输出按照一定的权重进行加权和，权重分别按照平均值进行初始化；平均值方法将两个多模态学习网络的输出直接进行平均；最大或最小值方法将两个多模态学习网络输出的最大值或最小值作为最终的输出。

4小结

本研究提出了一种基于多模态数据结合人工智能技术的在线教学评估模型，通过分析在线学习平台资源中的多种模态数据，使用深度学习、自然语言处理、图像分析等多种技术进行多模态数据处理和特征提取。基于处理后的特征，构建智能在线教学评估模型，实现学生学习效果评估。该模型不仅可以将学生的学习行为和学习成果进行综合分析和评估，还可以为教师提供更加科学和智能的在线教学评估方法，全面提升在线教育的质量和教学效果。

参考文献

[1]傅莉. 人工智能在教育中的应用研究[J]. 计算机与数字工程, 2012, 40(12): 63-65..

[2]尹睿, 黄甫全, 曾文婕, 等. 人工智能与学科教学深度融合创生智能课程[J]. 开放教育研究, 2018, 24(6): 70-80.

[3]张博, 董瑞海. 自然语言处理技术赋能教育智能发展——人工智能科学家的视角[J]. 华东师范大学学报 (教育科学版), 2022, 40(9): 19.

[4]赖玉斯. 人工智能技术在计算机辅助教学中的应用[J]. 电子通信与计算机科学, 2023, 5(3): 92-94..

[5]于婉莹, 梁美玉, 王笑笑等. 基于深度注意力网络的课堂教学视频中学生表情识别与智能教学评估[J]. 计算机应用, 2022, 42(3): 743.

[6]吴志刚, 赵璐, 贾晶, 等. 人工智能与教学融合的创新与实践研究[J]. Advances in Social Sciences, 2023, 12: 112.

[7]顾小清, 李世瑾. 人工智能促进未来教育发展: 本质内涵与应然路向[J]. 华东师范大学学报 (教育科学版), 2022, 40(9): 1.

[8]黄勇康, 梁美玉, 王笑笑, 等. 基于深度时空残差卷积神经网络的课堂教学视频中多人课堂行为识别[J]. 计算机应用, 2022, 42(3): 736..

 文章名：多模态数据集成的在线学习智能评估方法 上海理工大学，光电信息与计算机工程学院，200093