基于VLAS模型设计的施工布料机器人控制方法及系统

本发明公开了一种基于VLAS模型设计的施工布料机器人控制方法及系统，包括：接收语音指令，验证施工人员身份并生成语音指令嵌入向量；将语音指令嵌入向量与RGB图像在共享语义空间对齐，融合视觉和语音特征，生成联合表征；根据联合表征进行任务分解；采集施工现场的图像数据并识别目标对象，获取点云数据并提取目标对象的坐标；根据目标对象的坐标、布料机器人运动控制参数和关节位置，生成目标对象的运动轨迹；将运动轨迹转化为多个动作指令，驱动布料机器人执行动作；实时检测施工人员与布料机器人的机械臂的距离，超过安全距离时触发急停；实时采集布料机器人的运行状态信息，动态调整运动轨迹和浇筑速度。本发明能控制机器人自动布料。