搜索
vLLM 社区推出的 Semantic Router 除了专注上面三个方向，正在更进一步：我们认为：router 不只是选择模型，还可以提升模型能力。用户不用改权重，也不用让每个 Agent 团队都自己搭一套 Graph，而是在一次普通 Model API 调用的内部，组织出一支有边界、有预算、有验证、有回退的 “小队”。
VeRL-Omni 是一个面向多模态生成模型的通用 RL 后训练框架，由 VeRL-Omni 团队在 verl 与 vllm-omni 之上构建。覆盖扩散 transformer（Qwen-Image）、混合 AR-DiT（Qwen-Omni）、统一理解 + 生成（BAGEL、HunyuanImage-3.0）等架构。
在此背景下，浙江大学研究团队提出了 EasySteer——一个基于 vLLM 构建的高性能、可扩展 LLM Steering 统一框架。该框架通过与 vLLM 推理引擎的深度集成，相比现有 Steering 框架实现了 10.8-22.3 倍的推理加速，同时提供更细粒度的干预控制，并为八大应用场景提供了预计算 Steering 向量与完整复现示例，方便研究者快速上手和对照复现。
大模型推理的基石 vLLM，现在成为创业公司了。
近日，腾讯微信 AI 团队提出了 WeDLM（WeChat Diffusion Language Model），这是首个在工业级推理引擎（vLLM）优化条件下，推理速度超越同等 AR 模型的扩散语言模型。
腾讯混元大模型团队正式发布并开源HunyuanOCR模型！这是一款商业级、开源且轻量（1B参数）的OCR专用视觉语言模型，模型采用原生ViT和轻量LLM结合的架构。目前，该模型在抱抱脸（Hugging Face）趋势榜排名前四，GitHub标星超过700，并在Day 0被vllm官方团队接入。
2024年，加州大学圣地亚哥分校「Hao AI Lab」提出了DistServe的解耦推理理念，短短一年多时间，迅速从实验室概念成长为行业标准，被NVIDIA、vLLM等主流大模型推理框架采用，预示着AI正迈向「模块化智能」的新时代。
为破解大模型长思维链的效率难题，并且为了更好的端到端加速落地，我们将思考早停与投机采样无缝融合，提出了 SpecExit 方法，利用轻量级草稿模型预测 “退出信号”，在避免额外探测开销的同时将思维链长度缩短 66%，vLLM 上推理端到端加速 2.5 倍。
MiniMax 在 7 月 10 日面向全球举办了 M1 技术研讨会，邀请了来自香港科技大学、滑铁卢大学、Anthropic、Hugging Face、SGLang、vLLM、RL领域的研究者及业界嘉宾，就模型架构创新、RL训练、长上下文应用等领域进行了深入的探讨。
仅用不到1200行代码，实现最小化且完全可读的vLLM！DeepSeek研究员俞星凯搞了个开源项目引得大伙拍手叫绝。项目名为Nano-vLLM（纳米级-vLLM），有三大特点：快速离线推理：推理速度可与vLLM相媲美