属于大家的
VPS知识分享站

vLLM 部署:美国还是日本 GPU?显存与吞吐实测

Ollama 单机跑一个 7B 很舒服,但两个人同时问就开始排队,四个人的时候首 token 要等十几秒。这不是模型慢,是推理框架没有把请求攒起来算。vLLM 解决的就是这件事:同样的显卡,吞吐能高几倍。

vLLM 是什么

vLLM 是一个面向生产的 LLM 推理框架,核心是 PagedAttention 和 continuous batching:把 KV cache 分页管理,把不同请求拼进同一批,显卡不用等一个请求生成完再处理下一个。它兼容 OpenAI 的 /v1/chat/completions 接口,现有客户端基本不用改。

部署前先看显卡

vLLM 只支持 NVIDIA/AMD 的较新显卡,计算能力 7.0 以上;太老的卡跑不起来。显存至少 16GB,7B 模型才比较从容;13B 建议 24GB,32B 建议 48GB 或双卡。

docker run -d --name vllm \
  --runtime nvidia --gpus all \
  -p 8000:8000 \
  -v /data/models:/models \
  vllm/vllm-openai:latest \
  --model /models/Qwen2.5-7B-Instruct \
  --served-model-name qwen7b \
  --max-model-len 8192

第一次启动会加载权重,几分钟很正常;显存不够会直接报 OOM,不会“跑起来慢一点”。

显存怎么算

显存分两部分:权重和 KV cache。

  • 权重:FP16 下 7B 约 14GB,13B 约 26GB,32B 约 64GB
  • 量化:4bit 权重大约降到 1/4,7B 约 4GB,但精度和速度看量化方案
  • KV cache:跟并发数、上下文长度成正比,长上下文吃得更凶

所以“24GB 能跑 7B”不等于“24GB 能跑 7B 加 32K 上下文加 20 并发”。把 --max-model-len 和 --gpu-memory-utilization 设保守一点,留出余量。

纸雕风格的 GPU 显存与 KV cache 分区
权重之外,KV cache 才是并发瓶颈。

吞吐看什么

vLLM 的吞吐不是单请求速度,是单位时间处理的 token 数。并发上来后,continuous batching 会把显卡喂满,单请求延迟可能略升,但整体吞吐明显上升。

测试时看三个数:首 token 延迟、每 token 延迟、每秒总 token。别只测单条 curl,那测不出 batching 的效果。用 vllm bench serve 或 locust 压一轮,记录并发 1、4、16 的表现。

请求卡片排队进入 GPU 批处理
continuous batching 把显卡喂满。

美国还是日本

GPU 机型的选择,先看延迟,再看价格和库存。

  • 日本:离中国大陆近,首 token 延迟低,适合在线客服、内部助手;GPU 机型相对少,价格高
  • 美国:GPU 机型多、价格竞争充分,适合批量推理、离线任务;跨太平洋延迟高
  • 香港:延迟最低,适合做网关和调度,GPU 资源有限

如果业务是“用户问一句等一句”,日本更合适;如果是“夜里批量跑几万条”,美国更划算。也可以日本做前台、美国做批处理,按任务分流。

两座纸雕岛屿代表美国与日本节点
在线选日本,批量选美国。

量化和模型

显存紧就上 AWQ/GPTQ 4bit,7B 大约 4GB 权重,24GB 卡能留出更多 KV cache;但量化会有精度损失,代码和数学任务要测。能用 FP16 就别量化,除非显存真的不够。

模型选 Instruct/Chat 版本,别拿基座模型直接对话;上下文长度按业务设,不要一上来 128K,KV cache 会把显存吃光。

反代和鉴权

vLLM 自带 OpenAI 兼容接口,但没有多租户鉴权。前面加 Nginx 和 Token 校验,按 key 限流;流式响应关缓冲:

location /v1/ {
    proxy_pass http://127.0.0.1:8000;
    proxy_buffering off;
    proxy_read_timeout 600s;
    proxy_set_header Authorization $http_authorization;
}

常见坑

  • 显存算漏 KV cache,长上下文直接 OOM
  • 用太老的显卡,计算能力不够
  • 只测单请求,误以为吞吐低
  • 把 8000 端口直接暴露公网
  • 量化后没做效果回归
  • 模型放系统盘,拉权重把盘写满

和 Ollama 的区别

Ollama 胜在简单,适合单机验证;vLLM 胜在吞吐和多并发,适合生产 API。两者都能接 OpenAI 兼容客户端,但调度和显存管理不是一回事。

监控

看 GPU 利用率、显存、等待队列、首 token 和每 token 延迟;队列长期堆积,说明并发超过显存能力。

成本

GPU 月费是大头,磁盘和流量次之;按小时压测一周,算清每千 token 成本,再决定月付还是长期租。

为什么不直接用云 API

高频调用时,自建 GPU 的单位成本更低;数据不出机房、模型可定制也是理由。低频场景直接用云 API 更划算。

压测数据比参数表可信,先跑一轮再掏钱。

显存不够就换卡,别在参数上硬省。

并发上来后,先看显存,再看卡型。

先小流量上线,再逐步加并发。

别让显卡闲着,也别让它过载。

压测、限流、监控,一个都不能少,真的不能少。

常见问题 FAQ

Q1:vLLM 和 Ollama 怎么选?

单机、低并发、图省事选 Ollama;多并发、要吞吐、要 OpenAI 兼容选 vLLM。

Q2:24GB 显卡能跑多大模型?

7B FP16 加 8K 上下文比较稳;13B 建议 48GB 或量化;32B 基本要 48GB 以上。

Q3:美国还是日本节点?

在线低延迟选日本,批量成本优先选美国;香港适合做网关。

Q4:需要几张卡?

7B 单卡够;13B 单卡 24GB 勉强;32B 双卡或 48GB 单卡,具体看上下文和并发。

Q5:怎么估算并发?

按显存减权重,再除以每请求 KV cache;用压测验证,别拍脑袋。

总结

vLLM 的价值在高并发吞吐,不在单条请求的速度。先算显存(权重 + KV cache),再选卡;在线业务选日本,批量任务选美国;接口必须加鉴权和限流。先按小时压测,再月付。

需要 GPU 机器做压测,建议先按小时开一台萤光云美国硅谷云服务器,先跑一轮并发,再决定长期机型。

参考来源

相关推荐

赞(0)
未经允许不得转载:VPS知识分享站 » vLLM 部署:美国还是日本 GPU?显存与吞吐实测