属于大家的
VPS知识分享站

Langfuse 部署:香港/新加坡节点做 LLM 成本追踪

月底对账才发现 LLM 成本翻了三倍,却不知道是哪个功能、哪个用户、哪次调用烧的。日志里只有请求时间,没有 token 和单价,查起来像大海捞针。Langfuse 就是补这块可观测性的。

Langfuse 是什么

Langfuse 是开源的 LLM 可观测平台:记录每次调用的 trace、token、成本、延迟,支持提示词版本、评分和数据集。它不代理模型请求,只做记录和分析,接在应用和模型之间。

部署组件

官方 Docker Compose 一套起,组件不少:

  • Web/Worker:界面和后台任务
  • Postgres:元数据、账号、配置
  • ClickHouse:trace 和指标,写入量大
  • Redis:队列和缓存
  • S3/MinIO:大对象和事件文件

建议 4 核 8G 起步,磁盘 100G 以上;ClickHouse 很吃磁盘,trace 留存越久越大。

git clone https://github.com/langfuse/langfuse.git
cd langfuse
docker compose up -d

默认 Web 在 3000 端口,生产环境用域名加 HTTPS,别直接暴露。

纸张拼贴的调用链路时间线
trace 要记录 token、延迟和用户维度。

接入应用

Python/JS SDK 都支持,初始化时填 host、public key、secret key:

from langfuse import Langfuse
langfuse = Langfuse(
    host="https://langfuse.example.com",
    public_key="pk-...",
    secret_key="sk-...",
)
trace = langfuse.trace(name="chat", user_id="u123")
generation = trace.generation(
    name="qwen",
    model="qwen2.5-7b",
    input=[{"role": "user", "content": "你好"}],
    output="你好,有什么可以帮你?",
    usage={"input": 12, "output": 18},
)

也可以接 OpenAI SDK 的 wrapper,自动记录 token 和成本;自建模型要手动传 usage,否则成本算不出来。

剪纸风格的成本图表与硬币
单价和 usage 准,成本才算得准。

成本怎么算

Langfuse 按模型单价乘 token 算成本,所以要做两件事:

  1. 在模型配置里填对输入/输出单价
  2. 每次调用传准确的 usage

成本可以按用户、会话、功能、模型维度看;发现某个功能成本高,再去看它的 prompt 和上下文长度。

两张城市地图由纸箭头连接
香港做内部入口,新加坡面向东南亚。

香港还是新加坡

Langfuse 是内部工具,延迟要求不高,但数据位置和访问速度要考虑。

  • 香港:大陆团队访问快,适合作为内部观测入口
  • 新加坡:东南亚团队近,合规解释方便
  • 美国:模型 API 近,但大陆访问慢

trace 里可能带用户输入,属于业务数据;放香港还是新加坡,按客户和合规要求定。别把生产 trace 长期堆在公网可访问的实例上。

采样和保留

全量记录很吃存储。高流量场景按比例采样,或者只记录关键链路;保留期按合规和排障需要设,别默认永久。

# 只记录 20% 的请求
if random.random() < 0.2:
    trace = langfuse.trace(...)

安全和备份

  • Web 加 HTTPS 和 SSO,别用默认管理员
  • Public/Secret Key 按环境分开,定期轮换
  • Postgres 和 ClickHouse 定期备份
  • 对象存储开版本或生命周期
  • trace 脱敏,别把密码、密钥写进 input

和 Grafana 的区别

Grafana 看系统和业务指标,Langfuse 看 LLM 调用链路和 token 成本;两者可以并存,别指望一个工具全包。

多环境

开发、测试、生产用不同项目和 Key,trace 分开;否则测试数据会污染成本统计。

告警

成本突增、错误率上升、延迟变高都可以告警;先设阈值,再谈自动降级。

评测

把真实问题做成数据集,给回答打分;分数和成本一起看,才知道该换模型还是改提示词。

提示词管理

提示词版本化,和 trace 关联;改坏了能回滚,别在生产环境直接手改。

权限

按项目分成员,查看和修改分开;trace 可能含用户数据,权限别给太宽。

成本优化

按功能和用户看成本,先砍上下文和重复调用,再谈换便宜模型;不记录 usage,优化无从下手。

部署位置

trace 含用户输入时,部署位置就是数据位置;香港、新加坡、美国按合规和团队位置选。

采样补充

采样不是越少越好,关键链路要全量;把采样率写进配置,按环境和流量调整,别写死在代码里。

先记录,再分析;没有 trace,成本优化就是猜。

成本和延迟一起看,才知道该优化哪里。

先有数据,再谈优化。

trace 是基础,成本是结果。

先记录,再优化,别反过来。

数据先行,优化随后。

先把 trace 记全,再谈优化和成本。

Langfuse 的落库和看板如果主要服务东南亚团队,新加坡节点能把写入延迟压下来。

常见问题 FAQ

Q1:Langfuse 会代理模型请求吗?

不会。它只记录,模型请求仍由你的应用直接发;所以延迟不受影响,但要自己传 usage。

Q2:一定要 ClickHouse 吗?

官方栈用了 ClickHouse 存 trace;小规模可以简化,但高写入量下它是必要的。

Q3:香港还是新加坡节点?

大陆团队选香港,东南亚团队选新加坡;trace 含用户数据时按合规定。

Q4:成本对不上怎么办?

先查模型单价和 usage 是否准确,再看是否有缓存/批量折扣没算进去。

Q5:能商用吗?

看 Langfuse 许可证和你的部署方式;商用前确认授权和数据合规。

总结

Langfuse 补的是 LLM 的成本和链路可观测性:Docker 起栈、接 SDK、传准 usage、配好单价,才能看到真实成本。香港做内部入口,新加坡面向东南亚,trace 要采样、脱敏、定期备份。

需要一台机器跑 Langfuse,建议先按小时开一台香港 CN2 节点,先把 trace 和成本跑通。

参考来源

相关推荐

赞(0)
未经允许不得转载:VPS知识分享站 » Langfuse 部署:香港/新加坡节点做 LLM 成本追踪