基于国产CPU和OS的LLM应用开发平台资源计算方法

本发明公开了基于国产CPU和OS的LLM应用开发平台资源计算方法，属于大模型分析技术领域，该方法的实现包括：国产CPU和OS的选择：选择适用于具体模型规模和用户性能需求的硬件配置，在控制成本的前提下能够平稳运行需要规模的模型；LLM应用开发平台部署：LLM应用开发平台包括前端操作平台、请求分发平台及插件调用平台，用于快速集成调用大模型；大模型分布式容器部署：初始化多个大模型容器，用于接收并发的请求；负载均衡配置：将多个大模型容器配置到nginx中，均衡分配每个大模型容器的负载。本发明能够高效利用大模型计算资源，实现在国产CPU和OS的应用下提高大模型资源分配利用。