一种视觉与点云数据融合建模的采煤工作面开采辅助方法

本发明提出一种视觉与点云数据融合建模的采煤工作面开采辅助方法，采集采煤工作面的视觉图像数据，通过点云传感器采集三维点云数据，并通过惯性传感器获取运动状态信息；基于联合标定的内外参数与IMU数据，将点云数据映射至图像平面，建立三维点与像素的几何映射关系，生成包含几何、颜色与语义的属性点云模型，生成高精度的全局三维数字孪生模型；对数字孪生模型中的设备实例进行识别与跟踪，基于URDF运动学模型与主成分分析算法，解算关键部件的运动参数，以支持远程操控决策。本发明可以实现采煤工作面作业空间尺寸、设备连接关系及运动位置的高精度实时感知与三维可视化，显著提升无人化开采的远程控制精度与响应效率。