基于双重掩码稀疏注意力的处理方法、装置、设备及介质

本发明涉及人工智能技术领域，可应用于金融科技及医疗健康等业务场景中，公开了一种基于双重掩码稀疏注意力的处理方法、装置、设备及介质，包括：获取输入数据，将输入数据划分为多个数据块，获得数据块嵌入向量；生成用于约束数据块之间静态连接关系的结构化稀疏掩码；基于数据块嵌入向量，生成用于表征数据块之间动态连接关系的实例自适应动态掩码；联合结构化稀疏掩码与实例自适应动态掩码，对数据块嵌入向量进行稀疏注意力处理，获得更新后的数据块特征表示；聚合更新后的数据块特征表示，获得输入数据的最终特征表示。本发明通过双重掩码联合约束和动态调整连接关系，降低注意力计算复杂度，提升特征表达能力，实现高效信息处理。