面向多模态交互的自动化操作回溯与数字人续讲控制方法及系统
申请号:CN202511081972
申请日期:2025-08-04
公开号:CN120996074A
公开日期:2025-11-21
类型:发明专利
摘要
本发明一种面向多模态交互的自动化操作回溯与数字人续讲控制方法及系统,包括:操作快照模块,通过语义锚点标记技术记录操作节点,如界面XPath、PPT页码;中断检测模块,实时捕获用户打断指令;进度预测引擎,基于程序动态调整后续演示路径;续讲控制器,通过三级优先级线程池协调RPA操作执行、数字人渲染与语音合成。解决演示中断后操作流程回溯不精准、多模态线程冲突问题,实现断点续讲误差显著低于传统方案,适用于PPT演示、驾驶舱讲解、业务系统培训、课程讲解、3D建模指导场景。
技术关键词
多模态交互
环境状态信息
快照
锚点
语义
引擎控制模块
语音
节点标识符
控制系统
动态
机器学习模型
关键点
标记技术
业务系统
控件
界面