多模态大模型的训练方法、装置、设备和存储介质

本申请一个或多个实施例提供一种多模态大模型的训练方法、装置、设备和存储介质，其中，多模态大模型包括用于生成与图像对应的图像特征的视觉编码层和用于基于图像特征和查询文本生成答复文本的大语言模型；该方法包括：以对齐视觉编码层的图像特征空间与大语言模型的文本表示空间为目标，对多模态大模型进行调整，得到对齐后的多模态大模型；基于通过数据合成的方式构造的、与医疗场景下至少一种任务中的各种任务对应的预训练样本，对对齐后的多模态大模型进行预训练，得到预训练后的多模态大模型；基于通过人工标注的方式得到的、与医疗场景下目标任务对应的微调样本，对预训练后的多模态大模型进行微调，得到用于执行目标任务的多模态大模型。