Ollama 单机跑一个 7B 很舒服,但两个人同时问就开始排队,四个人的时候首 token 要等十几秒。这不是模型慢,是推理框架没有把请求攒起来算。vLLM 解决的就是这件事:同样的显卡,吞吐能高几倍。
vLLM 是什么
vLLM 是一个面向生产的 LLM 推理框架,核心是 PagedAttention 和 continuous batching:把 KV cache 分页管理,把不同请求拼进同一批,显卡不用等一个请求生成完再处理下一个。它兼容 OpenAI 的 /v1/chat/completions 接口,现有客户端基本不用改。
部署前先看显卡
vLLM 只支持 NVIDIA/AMD 的较新显卡,计算能力 7.0 以上;太老的卡跑不起来。显存至少 16GB,7B 模型才比较从容;13B 建议 24GB,32B 建议 48GB 或双卡。
docker run -d --name vllm \
--runtime nvidia --gpus all \
-p 8000:8000 \
-v /data/models:/models \
vllm/vllm-openai:latest \
--model /models/Qwen2.5-7B-Instruct \
--served-model-name qwen7b \
--max-model-len 8192
第一次启动会加载权重,几分钟很正常;显存不够会直接报 OOM,不会“跑起来慢一点”。
显存怎么算
显存分两部分:权重和 KV cache。
- 权重:FP16 下 7B 约 14GB,13B 约 26GB,32B 约 64GB
- 量化:4bit 权重大约降到 1/4,7B 约 4GB,但精度和速度看量化方案
- KV cache:跟并发数、上下文长度成正比,长上下文吃得更凶
所以“24GB 能跑 7B”不等于“24GB 能跑 7B 加 32K 上下文加 20 并发”。把 --max-model-len 和 --gpu-memory-utilization 设保守一点,留出余量。

吞吐看什么
vLLM 的吞吐不是单请求速度,是单位时间处理的 token 数。并发上来后,continuous batching 会把显卡喂满,单请求延迟可能略升,但整体吞吐明显上升。
测试时看三个数:首 token 延迟、每 token 延迟、每秒总 token。别只测单条 curl,那测不出 batching 的效果。用 vllm bench serve 或 locust 压一轮,记录并发 1、4、16 的表现。

美国还是日本
GPU 机型的选择,先看延迟,再看价格和库存。
- 日本:离中国大陆近,首 token 延迟低,适合在线客服、内部助手;GPU 机型相对少,价格高
- 美国:GPU 机型多、价格竞争充分,适合批量推理、离线任务;跨太平洋延迟高
- 香港:延迟最低,适合做网关和调度,GPU 资源有限
如果业务是“用户问一句等一句”,日本更合适;如果是“夜里批量跑几万条”,美国更划算。也可以日本做前台、美国做批处理,按任务分流。

量化和模型
显存紧就上 AWQ/GPTQ 4bit,7B 大约 4GB 权重,24GB 卡能留出更多 KV cache;但量化会有精度损失,代码和数学任务要测。能用 FP16 就别量化,除非显存真的不够。
模型选 Instruct/Chat 版本,别拿基座模型直接对话;上下文长度按业务设,不要一上来 128K,KV cache 会把显存吃光。
反代和鉴权
vLLM 自带 OpenAI 兼容接口,但没有多租户鉴权。前面加 Nginx 和 Token 校验,按 key 限流;流式响应关缓冲:
location /v1/ {
proxy_pass http://127.0.0.1:8000;
proxy_buffering off;
proxy_read_timeout 600s;
proxy_set_header Authorization $http_authorization;
}
常见坑
- 显存算漏 KV cache,长上下文直接 OOM
- 用太老的显卡,计算能力不够
- 只测单请求,误以为吞吐低
- 把 8000 端口直接暴露公网
- 量化后没做效果回归
- 模型放系统盘,拉权重把盘写满
和 Ollama 的区别
Ollama 胜在简单,适合单机验证;vLLM 胜在吞吐和多并发,适合生产 API。两者都能接 OpenAI 兼容客户端,但调度和显存管理不是一回事。
监控
看 GPU 利用率、显存、等待队列、首 token 和每 token 延迟;队列长期堆积,说明并发超过显存能力。
成本
GPU 月费是大头,磁盘和流量次之;按小时压测一周,算清每千 token 成本,再决定月付还是长期租。
为什么不直接用云 API
高频调用时,自建 GPU 的单位成本更低;数据不出机房、模型可定制也是理由。低频场景直接用云 API 更划算。
压测数据比参数表可信,先跑一轮再掏钱。
显存不够就换卡,别在参数上硬省。
并发上来后,先看显存,再看卡型。
先小流量上线,再逐步加并发。
别让显卡闲着,也别让它过载。
压测、限流、监控,一个都不能少,真的不能少。
常见问题 FAQ
Q1:vLLM 和 Ollama 怎么选?
单机、低并发、图省事选 Ollama;多并发、要吞吐、要 OpenAI 兼容选 vLLM。
Q2:24GB 显卡能跑多大模型?
7B FP16 加 8K 上下文比较稳;13B 建议 48GB 或量化;32B 基本要 48GB 以上。
Q3:美国还是日本节点?
在线低延迟选日本,批量成本优先选美国;香港适合做网关。
Q4:需要几张卡?
7B 单卡够;13B 单卡 24GB 勉强;32B 双卡或 48GB 单卡,具体看上下文和并发。
Q5:怎么估算并发?
按显存减权重,再除以每请求 KV cache;用压测验证,别拍脑袋。
总结
vLLM 的价值在高并发吞吐,不在单条请求的速度。先算显存(权重 + KV cache),再选卡;在线业务选日本,批量任务选美国;接口必须加鉴权和限流。先按小时压测,再月付。
需要 GPU 机器做压测,建议先按小时开一台萤光云美国硅谷云服务器,先跑一轮并发,再决定长期机型。







