VL
产品介绍
vLLM 通过 PagedAttention 大幅提升并发吞吐，是自建大模型服务的主流选择。
支持主流开源模型与 OpenAI 兼容接口，适合有 GPU 的团队自部署。
主要功能
- 高吞吐推理
- PagedAttention 优化
- 兼容 OpenAI 接口
- 多模型支持
- 开源免费
是否收费
完全免费
开源免费
同类产品
模型与开发平台 分类下的其他选择