摘要
本发明涉及人工智能技术领域,可应用于养老服务、金融科技及医疗健康等业务场景中,公开了一种指令理解与任务执行方法、装置、设备及介质,包括:接收语音指令和文本指令,通过指令理解模型进行协同处理生成结构化任务描述;采集环境数据构建实时环境模型;基于结构化任务描述与实时环境模型,利用任务执行模型生成任务执行策略;根据任务执行策略控制智能体执行任务,并结合实时传感器信息动态调整动作;采集任务执行数据与用户反馈信息,更新指令理解模型和任务执行模型。本发明通过结构化描述融合多模态信息,结合实时环境感知生成执行策略并动态调整动作,进一步利用执行数据与反馈实现模型自优化,提升智能体的理解、决策与适应能力。