开源vLLM-Omni：将扩散模型、ViT与LLM整合于单一数据流中，实现一次性多模态推理

发布时间：2025-12-02 15:34:35 | 责任编辑：张毅 | 浏览量：2 次

vLLM团队发布首个“全模态”推理框架vLLM-Omni，将文本、图像、音频、视频的统一生成从概念验证变成可落地代码。新框架已上线GitHub与ReadTheDocs，开发者可立即pip安装并调用。
解耦流水线架构
- 模态编码器:ViT、Whisper等负责把视觉、语音转为中间特征
- LLM核心:继续沿用vLLM自回归引擎，承担思考、规划与对话
- 模态生成器:DiT、Stable Diffusion等扩散模型解码输出，支持图像、音频、视频同步生成
框架把三段组件视为独立微服务，可在不同GPU或节点间调度，资源按需弹性伸缩——图像生成高峰时横向扩容DiT，文本推理低谷时收缩LLM，显存利用率提升最高40%。
性能与兼容性
vLLM-Omni提供Python装饰器@omni_pipeline，三行代码即可把原有单模态模型拼装成多模态应用。官方基准显示，在8×A100集群运行10亿参数“文本+图像”模型，吞吐比传统串行方案提高2.1倍，端到端延迟下降35%。
开源与路线图
GitHub仓库已放出完整示例与Docker Compose脚本，支持PyTorch2.4+和CUDA12.2。团队透露，2026Q1将加入视频DiT与语音Codec模型，并计划提供Kubernetes CRD，方便企业在私有云一键部署。
行业观点
业内人士认为，vLLM-Omni把异构模型纳入同一数据流，有望降低多模态应用落地门槛，但不同硬件间的负载均衡与缓存一致性仍是生产环境挑战。随着框架逐渐成熟，AI初创公司可更便宜地构建“文本-图像-视频”统一平台，而不必分别维护三条推理链路。
项目地址：https://github.com/vllm-project/vllm-omni