摘要
一种优化虚拟人教学的学生状态可视化分析系统,包括前端感知层、多模态特征提取模块、时序分析层和教学决策可视化层;所述的前端感知层实时采集学生的面部表情及眼动数据,并采用参数优化的SSD目标检测算法实时定位学生面部区域;所述的多模态特征提取模块通过多模态融合方法,基于RepVGG模型提取7类表情及4类眼动特征,构建11维时序数据流;所述的时序分析层基于LSTM网络模型动态建模认知状态,通过持续性行为规则,输出认知状态;所述的教学决策可视化层生成交互式仪表板,以热力图和趋势曲线实现认知状态与课程时间轴的精准映射,自动标注高疑惑区段。本发明突破单一模态局限,提升反馈效率,适用于虚拟人异步教学场景。