AI资讯新闻榜单内容搜索-趋境科技

关键词: AI新闻,模型训练,KTransformers,KTransformers-FineTune,KT-FT

清华大学MADSys实验室与趋境科技主导提出开源KTransformers-FineTune（KT-FT），让CPU直接参与MoE专家计算并优化布局与线程调度，使LoRA微调吞吐达到传统卸载范式的2.5～21.2倍。

关键词: AI新闻,模型训练,趋境科技,SGLang+Mooncake

趋境科技通过部署SGLang HiCache+Mooncake Store，将KV Cache从单机资源升级为集群级共享池化资源，支撑其日均产出超万亿Token的生产实践，KV Cache命中率稳定突破90%，并在生产环境中持续优化大规模推理集群的性能与稳定性。

关键词: AI新闻,趋境科技,AI中转站,token服务商

一笔融资进入我们视野——今日（7月13日），趋境科技A轮融资浮出水面，由河南投资集团汇融基金重磅领投，真知资本、尚势资本、星连资本、上海国方创新、弘晖基金、华控基金、杭州福成等老股东继续超额增投。

关键词: o1,GPU,AI硬件,趋境科技

当备受期待的GPT-5历经数次跳票，OpenAI全新发布的o1模型及时挽回了行业的信心，并从此为大模型领域开启了一个新的竞技方向——当推理模型大行其道时，行业如何从Infra层面着手降低推理阶段的算力成本？

关键词: AI Infra,AI,KTransformers,趋境科技,AI部署

2024年，落地，无疑是大模型最重要的主题。