大语言模型的偏好对齐训练方法、系统、设备及存储介质

本申请涉及自然语言处理技术领域，具体公开了一种大语言模型的偏好对齐训练方法、系统、设备及存储介质。本申请通过客户端根据本地偏好数据集对预训练选择器模型进行训练，获得本地选择器模型并发送回服务器，服务器对收集到的模型进行聚合获得全局选择器模型，进而构建全局偏好数据集对大语言模型进行偏好对齐训练。客户端的本地偏好数据集始终保留在本地，避免了用户数据泄露，其次，融合了多个客户端的用户偏好数据，提高了全局偏好数据集的全面性和多样性，训练获得的大语言模型偏好对齐准确性得到提高。将本方法应用于智能投资顾问和医疗问诊辅助等金融业务系统和医疗健康系统中，能够精准预测消费者和患者的偏好需求，提供高质量服务。