属于大家的
VPS知识分享站

Whisper 语音转写:美国 GPU 节点与并发配置

一段一小时的会议录音,用 CPU 转写能跑,但批量处理时排队排到第二天。Whisper 的瓶颈通常不是识别准不准,是显卡、模型大小和并发怎么配。选错模型,24GB 卡也只能一次跑一条。

三种跑法

  • whisper.cpp:C++ 实现,CPU 也能跑,适合小机器和离线
  • faster-whisper:基于 CTranslate2,GPU 上快,社区常用
  • 云端 API:省事,按分钟计费,数据要出机房

要批量、要自己控数据,选 faster-whisper + GPU;偶尔转几段,云端 API 更划算。

GPU 还是 CPU

模型 显存 适合
tiny/base 1–2GB 实时字幕、草稿
small 2–4GB 普通话/英文会议
medium 5–8GB 质量优先
large-v3 10–12GB 多语言、嘈杂音频

显存是硬门槛,模型加载不进去就直接失败;CPU 能跑 small,但速度按倍率下降,不适合批量。

黏土质感的 GPU 卡与声波
显存是硬门槛,模型加载不进去直接失败。

faster-whisper 部署

docker run -d --name whisper \
  --gpus all \
  -p 9000:9000 \
  -v /data/whisper:/data \
  onerahmet/openai-whisper-asr-webservice:latest-gpu

也可以直接装 Python 包,自己包一层队列:

pip install faster-whisper
from faster_whisper import WhisperModel
model = WhisperModel("large-v3", device="cuda", compute_type="float16")
segments, info = model.transcribe("audio.mp3", language="zh")

compute_type 用 float16 省显存,int8 更省但精度略降;先测效果再定。

并发怎么配

一张卡不要同时跑太多条:显存按模型大小乘并发数估算,留 20% 余量。用队列串行处理,比硬并发稳定。

  • 单卡 large-v3:建议 1–2 并发
  • 单卡 small:可以 3–4 并发
  • 批量任务:按文件排队,失败重试
  • 长音频:先切段,再并行,最后合并时间轴
音频文件排队进入转写器
队列串行比硬并发稳定。

美国 GPU 节点

转写是离线/批量任务,对延迟不敏感,对显卡价格敏感。美国 GPU 机型多、按小时计费灵活,适合批量跑;日本节点延迟低,适合实时字幕和在线会议。

如果音频来自国内用户,上传到美国会慢,建议前端先压缩再传;如果只是后台批处理,美国更划算。

GPU 岛与美国地图针脚相连
批量转写选美国,实时字幕选日本。

音频预处理

ffmpeg -i input.mp4 -vn -ac 1 -ar 16000 -c:a pcm_s16le output.wav

16kHz 单声道够用,能减小体积;太吵的音频先降噪,别指望模型硬扛。视频文件先抽音轨,别把整段视频丢进去。

成本和排队

成本按 GPU 小时算,不按音频分钟算。批量任务把文件攒够再开机,跑完关机,比 24 小时常开省很多。

队列要有优先级:实时字幕优先,历史录音往后排;失败任务单独重试,别阻塞整条队列。

whisper.cpp 怎么用

没有显卡、又想离线跑,用 whisper.cpp:编译后下载 ggml 模型,一条命令转写。速度比 GPU 慢,但小机器能跑。

字幕格式

输出 SRT/VTT 要保留时间轴;切段转写再合并时,按段时间偏移,别直接拼接导致字幕错位。

降噪

先抽音轨、转 16kHz 单声道,再做轻度降噪;降噪过头会伤语音,识别率反而下降。

成本案例

批量转写按 GPU 小时算:攒够文件再开机,跑完关机;比常开省,也比逐条调 API 可控。

常见误区

“模型越大越准”要看语言和音频质量;“并发越高越快”会抢显存;“转写完不用校对”在专业场景不成立。

语言检测

中英混杂的音频先指定主语言,自动检测容易来回切;多语言场景再开 detect,准确率会降一点。

长音频

超过 30 分钟先切段,按静音点切,别硬切在句子中间;合并时保留时间偏移。

校对

专有名词、人名、型号错得最多,转完要过一遍;专业场景可以加自定义词表。

模型下载

模型从 Hugging Face 拉,提前下好放本地,别在转写时现下;大模型几个 GB,网络不稳会卡住。

GPU 选择

large-v3 用 12GB 以上更稳,small 用 4GB 就够;显存不够时先降模型,别硬并发。

文件格式

mp3、m4a、wav 都能进,统一转 wav 最稳;视频先抽音轨,别把大文件直接塞给模型。

隐私

会议录音可能含敏感信息,自托管也要管权限和留存;云端 API 要确认不留存、不训练。

先把一条音频跑通,再谈批量;模型、显存、队列三件事对齐,转写才稳。

转写质量靠模型和音频,速度靠显卡和队列,两者分开优化。

先把一条音频跑通,再谈批量。

先保证能跑完,再追求跑得快;队列和重试比并发更重要。

跑通、跑稳、再跑快,顺序别反。

转写是工程问题,不是模型单点问题。

模型选对,队列排好,转写就顺了。

先把一小时的音频跑完,再想批量。

先把一条音频完整跑通再说,真的好啊。

常见问题 FAQ

Q1:Whisper 一定要 GPU 吗?

不一定。small 以下 CPU 能跑,但批量慢;large-v3 建议 GPU。

Q2:选哪个模型?

普通话会议 small/medium 够用,多语言和嘈杂环境上 large-v3;先拿真实音频测。

Q3:美国还是日本节点?

批量转写选美国,实时字幕选日本;按延迟和显卡价格权衡。

Q4:能实时转写吗?

可以,但要做流式切分和低延迟模型;离线批量用 large-v3 更准。

Q5:数据安全怎么保证?

自托管数据在你自己机器;用云端 API 要确认音频不会被留存和训练。

总结

Whisper 转写的关键在显存和队列:模型越大越吃显存,并发别硬堆;批量任务选美国 GPU,实时字幕选日本;音频先转 16kHz 单声道,失败任务单独重试。

需要 GPU 机器跑批量转写,要短期测试,按小时开一台萤光云美国硅谷云服务器,跑完就关,按量付。

参考来源

相关推荐

赞(0)
未经允许不得转载:VPS知识分享站 » Whisper 语音转写:美国 GPU 节点与并发配置