一种用于大模型文档问答的指令微调数据集构建方法

本发明属于数据集构建技术领域，尤其涉及一种用于大模型文档问答的指令微调数据集构建方法，包括：对获取的非结构化知识文档数据集进行预处理；采用视觉大语言模型对文档中的非结构化信息进行识别，生成文本性描述；结合文本描述和对应的文本问题内容，采用文本推理模型增强答案生成；再通过过滤策略提取优质数据及其推理过程；将推理过程与正确答案拼接作为答案部分，最终构建原始文档问答视觉推理数据集。采用本发明的方法不仅提升了问答数据集的丰富性和多样性，还使其能够更好地适应包含复杂视觉信息的文档问答场景，为文档视觉问答任务提供了更高质量的数据支持。