属于大家的
VPS知识分享站

Ollama 部署:美国/日本节点跑本地大模型,成本差多少

一台 2 核 4G 的 VPS 能不能跑 Ollama?能,但只够跑 3B 以下的小模型,7B 模型加载都费劲。真正要跑 7B 以上,看的不是核数,是有没有 GPU、显存多大、模型放哪里。美国节点和日本节点的差别,也不只是价格。

下面按“先跑起来 → 选模型 → 选节点 → 控成本”讲,命令可以直接抄。

Ollama 是什么

Ollama 是一个本地大模型运行时:一条命令拉模型,自带 REST API,支持 GGUF 量化,CPU 和 GPU 都能跑。它不负责训练,只负责推理和模型管理,适合私有化问答、内部工具、RAG 的生成端。

Docker 部署

docker run -d --name ollama \
  --restart=unless-stopped \
  -p 11434:11434 \
  -v /data/ollama:/root/.ollama \
  ollama/ollama

docker exec -it ollama ollama pull qwen2.5:7b
docker exec -it ollama ollama run qwen2.5:7b

模型默认落在 /root/.ollama/models,7B Q4 大约 4GB,13B 约 8GB,32B 约 20GB。磁盘最好单独挂一块,别和系统盘挤在一起。

CPU 还是 GPU

模型 显存/内存 体验
3B Q4 2–3GB CPU 可跑,慢
7B Q4 4–6GB CPU 能出字,GPU 才可用
13B Q4 8–10GB 建议 12GB 以上显存
32B Q4 20GB 左右 24GB 显存起步

纯 CPU 不是不能跑,是延迟高:7B 在 4 核上可能几秒才出一个 token,做聊天机器人体验很差。GPU 的核心价值是显存,不是算力。

CPU 与 GPU 分担模型负载的蓝图
7B 以上先看显存,不是核数。

美国还是日本节点

从中国大陆访问,日本节点延迟通常更低,适合内部工具和实时问答;美国节点 GPU 机型更多、价格竞争充分,适合批量任务和成本敏感的场景。

  • 日本:延迟低,适合前台对话、低并发;GPU 资源相对紧
  • 美国:机型多、价格低,适合离线推理、批处理;延迟高一些
  • 香港:延迟最低,但 GPU 机型少,适合做反代和调度

如果只是给内部几个人用,日本 1 张 12GB 显卡就够;如果要跑 32B 或批量任务,美国 24GB 机型更划算。

API 和鉴权

Ollama 默认监听 11434,没有鉴权,不能直接暴露公网。用 Nginx 反代加 Basic Auth 或 Token,或者只开内网:

server {
    listen 443 ssl;
    server_name ai.example.com;
    location / {
        auth_basic "ollama";
        auth_basic_user_file /etc/nginx/.htpasswd;
        proxy_pass http://127.0.0.1:11434;
        proxy_read_timeout 300s;
    }
}

流式输出要关掉缓冲,否则前端会一段一段蹦;proxy_buffering off 加上,超时给足。

并发和限流

一张显卡同时跑多个请求会抢显存,Ollama 默认会排队。用 OLLAMA_NUM_PARALLEL 控制并发,别超过显存能承受的数量;前面再加一层队列或限流,避免一个用户把显存打满。

# 同时最多 2 个请求
OLLAMA_NUM_PARALLEL=2
# 模型加载后常驻,减少冷启动
OLLAMA_KEEP_ALIVE=30m
模型文件从磁盘流入内存与显存的蓝图
模型目录单独挂盘,扩容省事。

磁盘和模型管理

模型很占盘,一个 7B 几个 GB,多拉几个就上 50GB。定期清理不用的模型:

ollama list
ollama rm 模型名
du -sh /data/ollama/models

模型目录放独立云盘,扩容比重装省事;备份只备自定义 Modelfile,模型可以重新拉。

两个节点由弧线连接的蓝图
日本低延迟,美国成本低,按业务选。

成本怎么算

成本分三块:GPU 机型月费、磁盘、流量。7B 对话型应用,一张 12GB 显卡加 100GB 盘就够;32B 或批量任务,24GB 起步。别只看显卡型号,显存和带宽才是瓶颈。

按月付算,美国 GPU 机型通常比日本便宜;按小时算,测试阶段更灵活。先按小时跑一周,看真实并发和显存占用,再决定月付。

模型怎么选

中文场景优先 Qwen 系列,英文和代码可以看 Llama、DeepSeek 蒸馏版;先跑 7B 验证流程,再上 13B/32B。模型越大越吃显存,别一上来就 32B。

监控

看显存占用、请求队列、首 token 延迟和每分钟 token 数;显存长期 90% 以上,就该限流或换卡。

GPU 机型

同样标 24GB,卡型不同,推理速度差很多;买之前问清显卡型号、显存带宽和是否独享。

为什么不直接调云 API

数据不出机房、按量不按 token 计费、断网也能用,是本地部署的三个理由;如果只是偶尔用,云 API 更省事。

安全

模型文件、提示词、知识库都算资产;机器别放公网裸奔,API 加鉴权,磁盘加密,离职回收 Key。

先小后大,先测后买,别一上来就押注最贵的卡。

模型是资产,机器是耗材,别把顺序搞反。

先跑通再优化,别一开始就追大模型。

测试机不用买太贵,先验流程。

先跑通,再谈优化。

够用就好,别为参数焦虑,真的。

如果批量任务主要跑在美国,美国 GPU 节点的机型和带宽选择更多;交互式推理仍放日本。

常见问题 FAQ

Q1:2 核 4G 能跑 Ollama 吗?

能跑 3B 以下,7B 会非常慢;想稳定聊天,至少 4 核 8G 加 GPU。

Q2:没有 GPU 能先用吗?

可以,用 3B 模型验证流程;真上生产再换 GPU,别在 CPU 上硬扛 7B。

Q3:美国还是日本?

前台低延迟选日本,批量/成本优先选美国;香港适合做反代和调度。

Q4:模型能商用吗?

看模型许可证,Qwen、Llama 等各有条款;商用前确认授权和合规。

Q5:怎么防止被刷?

不暴露 11434,反代加鉴权,按用户限流,监控显存和请求数。

总结

Ollama 部署不难,难的是选对模型和节点:7B 以下 CPU 能凑合,7B 以上看显存;日本低延迟,美国成本低;API 必须加鉴权和限流。先按小时验证,再月付。

需要一台机器跑 Ollama 或做反代,先按小时开一台萤光云日本 VPS,先测延迟和显存,再决定长期配置。

相关推荐

赞(0)
未经允许不得转载:VPS知识分享站 » Ollama 部署:美国/日本节点跑本地大模型,成本差多少