一段一小时的会议录音,用 CPU 转写能跑,但批量处理时排队排到第二天。Whisper 的瓶颈通常不是识别准不准,是显卡、模型大小和并发怎么配。选错模型,24GB 卡也只能一次跑一条。
三种跑法
- whisper.cpp:C++ 实现,CPU 也能跑,适合小机器和离线
- faster-whisper:基于 CTranslate2,GPU 上快,社区常用
- 云端 API:省事,按分钟计费,数据要出机房
要批量、要自己控数据,选 faster-whisper + GPU;偶尔转几段,云端 API 更划算。
GPU 还是 CPU
| 模型 | 显存 | 适合 |
|---|---|---|
| tiny/base | 1–2GB | 实时字幕、草稿 |
| small | 2–4GB | 普通话/英文会议 |
| medium | 5–8GB | 质量优先 |
| large-v3 | 10–12GB | 多语言、嘈杂音频 |
显存是硬门槛,模型加载不进去就直接失败;CPU 能跑 small,但速度按倍率下降,不适合批量。

faster-whisper 部署
docker run -d --name whisper \
--gpus all \
-p 9000:9000 \
-v /data/whisper:/data \
onerahmet/openai-whisper-asr-webservice:latest-gpu
也可以直接装 Python 包,自己包一层队列:
pip install faster-whisper
from faster_whisper import WhisperModel
model = WhisperModel("large-v3", device="cuda", compute_type="float16")
segments, info = model.transcribe("audio.mp3", language="zh")
compute_type 用 float16 省显存,int8 更省但精度略降;先测效果再定。
并发怎么配
一张卡不要同时跑太多条:显存按模型大小乘并发数估算,留 20% 余量。用队列串行处理,比硬并发稳定。
- 单卡 large-v3:建议 1–2 并发
- 单卡 small:可以 3–4 并发
- 批量任务:按文件排队,失败重试
- 长音频:先切段,再并行,最后合并时间轴

美国 GPU 节点
转写是离线/批量任务,对延迟不敏感,对显卡价格敏感。美国 GPU 机型多、按小时计费灵活,适合批量跑;日本节点延迟低,适合实时字幕和在线会议。
如果音频来自国内用户,上传到美国会慢,建议前端先压缩再传;如果只是后台批处理,美国更划算。

音频预处理
ffmpeg -i input.mp4 -vn -ac 1 -ar 16000 -c:a pcm_s16le output.wav
16kHz 单声道够用,能减小体积;太吵的音频先降噪,别指望模型硬扛。视频文件先抽音轨,别把整段视频丢进去。
成本和排队
成本按 GPU 小时算,不按音频分钟算。批量任务把文件攒够再开机,跑完关机,比 24 小时常开省很多。
队列要有优先级:实时字幕优先,历史录音往后排;失败任务单独重试,别阻塞整条队列。
whisper.cpp 怎么用
没有显卡、又想离线跑,用 whisper.cpp:编译后下载 ggml 模型,一条命令转写。速度比 GPU 慢,但小机器能跑。
字幕格式
输出 SRT/VTT 要保留时间轴;切段转写再合并时,按段时间偏移,别直接拼接导致字幕错位。
降噪
先抽音轨、转 16kHz 单声道,再做轻度降噪;降噪过头会伤语音,识别率反而下降。
成本案例
批量转写按 GPU 小时算:攒够文件再开机,跑完关机;比常开省,也比逐条调 API 可控。
常见误区
“模型越大越准”要看语言和音频质量;“并发越高越快”会抢显存;“转写完不用校对”在专业场景不成立。
语言检测
中英混杂的音频先指定主语言,自动检测容易来回切;多语言场景再开 detect,准确率会降一点。
长音频
超过 30 分钟先切段,按静音点切,别硬切在句子中间;合并时保留时间偏移。
校对
专有名词、人名、型号错得最多,转完要过一遍;专业场景可以加自定义词表。
模型下载
模型从 Hugging Face 拉,提前下好放本地,别在转写时现下;大模型几个 GB,网络不稳会卡住。
GPU 选择
large-v3 用 12GB 以上更稳,small 用 4GB 就够;显存不够时先降模型,别硬并发。
文件格式
mp3、m4a、wav 都能进,统一转 wav 最稳;视频先抽音轨,别把大文件直接塞给模型。
隐私
会议录音可能含敏感信息,自托管也要管权限和留存;云端 API 要确认不留存、不训练。
先把一条音频跑通,再谈批量;模型、显存、队列三件事对齐,转写才稳。
转写质量靠模型和音频,速度靠显卡和队列,两者分开优化。
先把一条音频跑通,再谈批量。
先保证能跑完,再追求跑得快;队列和重试比并发更重要。
跑通、跑稳、再跑快,顺序别反。
转写是工程问题,不是模型单点问题。
模型选对,队列排好,转写就顺了。
先把一小时的音频跑完,再想批量。
先把一条音频完整跑通再说,真的好啊。
常见问题 FAQ
Q1:Whisper 一定要 GPU 吗?
不一定。small 以下 CPU 能跑,但批量慢;large-v3 建议 GPU。
Q2:选哪个模型?
普通话会议 small/medium 够用,多语言和嘈杂环境上 large-v3;先拿真实音频测。
Q3:美国还是日本节点?
批量转写选美国,实时字幕选日本;按延迟和显卡价格权衡。
Q4:能实时转写吗?
可以,但要做流式切分和低延迟模型;离线批量用 large-v3 更准。
Q5:数据安全怎么保证?
自托管数据在你自己机器;用云端 API 要确认音频不会被留存和训练。
总结
Whisper 转写的关键在显存和队列:模型越大越吃显存,并发别硬堆;批量任务选美国 GPU,实时字幕选日本;音频先转 16kHz 单声道,失败任务单独重试。
需要 GPU 机器跑批量转写,要短期测试,按小时开一台萤光云美国硅谷云服务器,跑完就关,按量付。







