摘要
本发明公开了一种多模态数据融合的金融服务信息处理方法及系统,包括:S1:采集企业文本数据、企业表格数据,并进行预处理,得到清洗后的文本数据、清洗后的表格数据;S2:计算增强后的文本嵌入向量,提取语义表示特征向量,再解码出文本三元组集合,生成文本语义向量;S3:计算标准化字段集合、行级实体主键,输出异常风险向量,再计算表格异常标记与表格语义向量;S4:计算实体对齐门,并计算实体对齐特征向量;计算实体匹配度得分,最后计算跨模态冲突标记;S5:通过多层感知机计算跨模态融合向量,再计算知识表示向量。本发明可解决传统方法因数据结构差异、字段语义冲突及实体识别精度不足导致的实体对齐精度低的问题。