摘要
本发明公开了一种基于检索辅助的跨模态点云补全方法,步骤一:基于渲染图构建一个支持检索的3D点云资产库;步骤二:给定输入图像,为残缺输入点云寻找3D点云资产库中最相似的参考点云;步骤三:执行图像以及输入点云和参考点云的结构特征提取,挖掘结构特征编码;步骤四:将参考点云特征经过双门控机制处理;步骤五:分步渐进式融合输入点云和参考点云信息,通过全局变量生成稀疏粗糙的种子;步骤六:基于稀疏粗糙的种子的局部特征渐进式地从输入点云中和参考点云中学习相关结构特征,并完成局部细化,获得完整点云。本发明方法通过结构特征提取与双门控机制处理等步骤渐进地从参考点云中获取几何结构信息,实现了对残缺点云更加准确和鲁棒的补全。