基于自然语言和地图的导航方法、设备、介质及程序产品

本申请实施例公开了一种基于自然语言和地图的导航方法、设备、介质及程序产品。该方法包括：针对机器人采集的当前场景下的图像，对彩色图像进行语义分割后基于地面投影技术进行处理得到语义鸟瞰图，基于地面投影技术对深度图像进行处理得到深度鸟瞰图；基于用户输入的语言指令对深度鸟瞰图进行场景补全，得到全局场景下的补全深度鸟瞰图；根据补全深度鸟瞰图、语义鸟瞰图以及语言指令，生成全局场景下的语义地图，基于语义地图为机器人预测路径以及导航。上述方案能够在机器人采集的当前场景的图像基础上基于全局语义信息指导地图的构建和补全，面对不可见或未观测区域进行合理路径推理，在先验全局地图的情况下实现对机器人的全局导航。