一种基于LLM的无人机多模态数据协同感知系统

本申请涉及一种基于LLM的无人机多模态数据协同感知系统，包括：获取模块，基于无人机监测的多模态数据对应生成结构化特征向量和传感器质量参数；融合模块，基于传感器质量参数计算每个结构化特征向量对应的权重，根据结构化特征向量对应的权重与结构化特征向量进行融合得到无人机生成的本地语义特征向量；优化模块，计算本地语义特征向量与边缘服务器的全局语义特征向量的当前差值，若当前差值大于预设值则生成差异标记令牌，基于差异标记令牌对全局语义特征向量进行冲突仲裁得到新的全局语义特征向量，且对本地语义特征向量进行优化，直至优化后的本地语义特征向量与新的全局语义特征向量对齐，使得无人机在复杂环境下高精度协同感知。