一台 2 核 4G 的 VPS 能不能跑 Ollama?能,但只够跑 3B 以下的小模型,7B 模型加载都费劲。真正要跑 7B 以上,看的不是核数,是有没有 GPU、显存多大、模型放哪里。美国节点和日本节点的差别,也不只是价格。
下面按“先跑起来 → 选模型 → 选节点 → 控成本”讲,命令可以直接抄。
Ollama 是什么
Ollama 是一个本地大模型运行时:一条命令拉模型,自带 REST API,支持 GGUF 量化,CPU 和 GPU 都能跑。它不负责训练,只负责推理和模型管理,适合私有化问答、内部工具、RAG 的生成端。
Docker 部署
docker run -d --name ollama \
--restart=unless-stopped \
-p 11434:11434 \
-v /data/ollama:/root/.ollama \
ollama/ollama
docker exec -it ollama ollama pull qwen2.5:7b
docker exec -it ollama ollama run qwen2.5:7b
模型默认落在 /root/.ollama/models,7B Q4 大约 4GB,13B 约 8GB,32B 约 20GB。磁盘最好单独挂一块,别和系统盘挤在一起。
CPU 还是 GPU
| 模型 | 显存/内存 | 体验 |
|---|---|---|
| 3B Q4 | 2–3GB | CPU 可跑,慢 |
| 7B Q4 | 4–6GB | CPU 能出字,GPU 才可用 |
| 13B Q4 | 8–10GB | 建议 12GB 以上显存 |
| 32B Q4 | 20GB 左右 | 24GB 显存起步 |
纯 CPU 不是不能跑,是延迟高:7B 在 4 核上可能几秒才出一个 token,做聊天机器人体验很差。GPU 的核心价值是显存,不是算力。

美国还是日本节点
从中国大陆访问,日本节点延迟通常更低,适合内部工具和实时问答;美国节点 GPU 机型更多、价格竞争充分,适合批量任务和成本敏感的场景。
- 日本:延迟低,适合前台对话、低并发;GPU 资源相对紧
- 美国:机型多、价格低,适合离线推理、批处理;延迟高一些
- 香港:延迟最低,但 GPU 机型少,适合做反代和调度
如果只是给内部几个人用,日本 1 张 12GB 显卡就够;如果要跑 32B 或批量任务,美国 24GB 机型更划算。
API 和鉴权
Ollama 默认监听 11434,没有鉴权,不能直接暴露公网。用 Nginx 反代加 Basic Auth 或 Token,或者只开内网:
server {
listen 443 ssl;
server_name ai.example.com;
location / {
auth_basic "ollama";
auth_basic_user_file /etc/nginx/.htpasswd;
proxy_pass http://127.0.0.1:11434;
proxy_read_timeout 300s;
}
}
流式输出要关掉缓冲,否则前端会一段一段蹦;proxy_buffering off 加上,超时给足。
并发和限流
一张显卡同时跑多个请求会抢显存,Ollama 默认会排队。用 OLLAMA_NUM_PARALLEL 控制并发,别超过显存能承受的数量;前面再加一层队列或限流,避免一个用户把显存打满。
# 同时最多 2 个请求
OLLAMA_NUM_PARALLEL=2
# 模型加载后常驻,减少冷启动
OLLAMA_KEEP_ALIVE=30m

磁盘和模型管理
模型很占盘,一个 7B 几个 GB,多拉几个就上 50GB。定期清理不用的模型:
ollama list
ollama rm 模型名
du -sh /data/ollama/models
模型目录放独立云盘,扩容比重装省事;备份只备自定义 Modelfile,模型可以重新拉。

成本怎么算
成本分三块:GPU 机型月费、磁盘、流量。7B 对话型应用,一张 12GB 显卡加 100GB 盘就够;32B 或批量任务,24GB 起步。别只看显卡型号,显存和带宽才是瓶颈。
按月付算,美国 GPU 机型通常比日本便宜;按小时算,测试阶段更灵活。先按小时跑一周,看真实并发和显存占用,再决定月付。
模型怎么选
中文场景优先 Qwen 系列,英文和代码可以看 Llama、DeepSeek 蒸馏版;先跑 7B 验证流程,再上 13B/32B。模型越大越吃显存,别一上来就 32B。
监控
看显存占用、请求队列、首 token 延迟和每分钟 token 数;显存长期 90% 以上,就该限流或换卡。
GPU 机型
同样标 24GB,卡型不同,推理速度差很多;买之前问清显卡型号、显存带宽和是否独享。
为什么不直接调云 API
数据不出机房、按量不按 token 计费、断网也能用,是本地部署的三个理由;如果只是偶尔用,云 API 更省事。
安全
模型文件、提示词、知识库都算资产;机器别放公网裸奔,API 加鉴权,磁盘加密,离职回收 Key。
先小后大,先测后买,别一上来就押注最贵的卡。
模型是资产,机器是耗材,别把顺序搞反。
先跑通再优化,别一开始就追大模型。
测试机不用买太贵,先验流程。
先跑通,再谈优化。
够用就好,别为参数焦虑,真的。
如果批量任务主要跑在美国,美国 GPU 节点的机型和带宽选择更多;交互式推理仍放日本。
常见问题 FAQ
Q1:2 核 4G 能跑 Ollama 吗?
能跑 3B 以下,7B 会非常慢;想稳定聊天,至少 4 核 8G 加 GPU。
Q2:没有 GPU 能先用吗?
可以,用 3B 模型验证流程;真上生产再换 GPU,别在 CPU 上硬扛 7B。
Q3:美国还是日本?
前台低延迟选日本,批量/成本优先选美国;香港适合做反代和调度。
Q4:模型能商用吗?
看模型许可证,Qwen、Llama 等各有条款;商用前确认授权和合规。
Q5:怎么防止被刷?
不暴露 11434,反代加鉴权,按用户限流,监控显存和请求数。
总结
Ollama 部署不难,难的是选对模型和节点:7B 以下 CPU 能凑合,7B 以上看显存;日本低延迟,美国成本低;API 必须加鉴权和限流。先按小时验证,再月付。
需要一台机器跑 Ollama 或做反代,先按小时开一台萤光云日本 VPS,先测延迟和显存,再决定长期配置。







