摘要
本发明涉及虚拟现实定位领域，公开了一种基于多模态感知的VR大空间定位交互系统，包括：部署多模态传感器获取传感数据，并进行视觉特征提取和预处理，匹配建立稀疏点云地图并进行尺度校准，构建环境模型；基于环境模型预判断UWB信号路径，对NLOS状态进行优化补偿误差，通过退化检测进行观测更新并融合得到预测状态变化；构建交互感知网络，对手部与全身进行追踪；使用分层触觉系统实现触觉反馈，利用振动频率映射生成触觉效果；利用波束赋形技术提升传输效率，边缘云服务器集群渲染虚拟场景，提前预渲染场景抵消网络与渲染延迟；设计在线校准机制，通过视觉回环检测、UWB信标动态修正和IMU漂移补偿，修正系统误差。
