月底对账才发现 LLM 成本翻了三倍,却不知道是哪个功能、哪个用户、哪次调用烧的。日志里只有请求时间,没有 token 和单价,查起来像大海捞针。Langfuse 就是补这块可观测性的。
Langfuse 是什么
Langfuse 是开源的 LLM 可观测平台:记录每次调用的 trace、token、成本、延迟,支持提示词版本、评分和数据集。它不代理模型请求,只做记录和分析,接在应用和模型之间。
部署组件
官方 Docker Compose 一套起,组件不少:
- Web/Worker:界面和后台任务
- Postgres:元数据、账号、配置
- ClickHouse:trace 和指标,写入量大
- Redis:队列和缓存
- S3/MinIO:大对象和事件文件
建议 4 核 8G 起步,磁盘 100G 以上;ClickHouse 很吃磁盘,trace 留存越久越大。
git clone https://github.com/langfuse/langfuse.git
cd langfuse
docker compose up -d
默认 Web 在 3000 端口,生产环境用域名加 HTTPS,别直接暴露。

接入应用
Python/JS SDK 都支持,初始化时填 host、public key、secret key:
from langfuse import Langfuse
langfuse = Langfuse(
host="https://langfuse.example.com",
public_key="pk-...",
secret_key="sk-...",
)
trace = langfuse.trace(name="chat", user_id="u123")
generation = trace.generation(
name="qwen",
model="qwen2.5-7b",
input=[{"role": "user", "content": "你好"}],
output="你好,有什么可以帮你?",
usage={"input": 12, "output": 18},
)
也可以接 OpenAI SDK 的 wrapper,自动记录 token 和成本;自建模型要手动传 usage,否则成本算不出来。

成本怎么算
Langfuse 按模型单价乘 token 算成本,所以要做两件事:
- 在模型配置里填对输入/输出单价
- 每次调用传准确的 usage
成本可以按用户、会话、功能、模型维度看;发现某个功能成本高,再去看它的 prompt 和上下文长度。

香港还是新加坡
Langfuse 是内部工具,延迟要求不高,但数据位置和访问速度要考虑。
- 香港:大陆团队访问快,适合作为内部观测入口
- 新加坡:东南亚团队近,合规解释方便
- 美国:模型 API 近,但大陆访问慢
trace 里可能带用户输入,属于业务数据;放香港还是新加坡,按客户和合规要求定。别把生产 trace 长期堆在公网可访问的实例上。
采样和保留
全量记录很吃存储。高流量场景按比例采样,或者只记录关键链路;保留期按合规和排障需要设,别默认永久。
# 只记录 20% 的请求
if random.random() < 0.2:
trace = langfuse.trace(...)
安全和备份
- Web 加 HTTPS 和 SSO,别用默认管理员
- Public/Secret Key 按环境分开,定期轮换
- Postgres 和 ClickHouse 定期备份
- 对象存储开版本或生命周期
- trace 脱敏,别把密码、密钥写进 input
和 Grafana 的区别
Grafana 看系统和业务指标,Langfuse 看 LLM 调用链路和 token 成本;两者可以并存,别指望一个工具全包。
多环境
开发、测试、生产用不同项目和 Key,trace 分开;否则测试数据会污染成本统计。
告警
成本突增、错误率上升、延迟变高都可以告警;先设阈值,再谈自动降级。
评测
把真实问题做成数据集,给回答打分;分数和成本一起看,才知道该换模型还是改提示词。
提示词管理
提示词版本化,和 trace 关联;改坏了能回滚,别在生产环境直接手改。
权限
按项目分成员,查看和修改分开;trace 可能含用户数据,权限别给太宽。
成本优化
按功能和用户看成本,先砍上下文和重复调用,再谈换便宜模型;不记录 usage,优化无从下手。
部署位置
trace 含用户输入时,部署位置就是数据位置;香港、新加坡、美国按合规和团队位置选。
采样补充
采样不是越少越好,关键链路要全量;把采样率写进配置,按环境和流量调整,别写死在代码里。
先记录,再分析;没有 trace,成本优化就是猜。
成本和延迟一起看,才知道该优化哪里。
先有数据,再谈优化。
trace 是基础,成本是结果。
先记录,再优化,别反过来。
数据先行,优化随后。
先把 trace 记全,再谈优化和成本。
Langfuse 的落库和看板如果主要服务东南亚团队,新加坡节点能把写入延迟压下来。
常见问题 FAQ
Q1:Langfuse 会代理模型请求吗?
不会。它只记录,模型请求仍由你的应用直接发;所以延迟不受影响,但要自己传 usage。
Q2:一定要 ClickHouse 吗?
官方栈用了 ClickHouse 存 trace;小规模可以简化,但高写入量下它是必要的。
Q3:香港还是新加坡节点?
大陆团队选香港,东南亚团队选新加坡;trace 含用户数据时按合规定。
Q4:成本对不上怎么办?
先查模型单价和 usage 是否准确,再看是否有缓存/批量折扣没算进去。
Q5:能商用吗?
看 Langfuse 许可证和你的部署方式;商用前确认授权和数据合规。
总结
Langfuse 补的是 LLM 的成本和链路可观测性:Docker 起栈、接 SDK、传准 usage、配好单价,才能看到真实成本。香港做内部入口,新加坡面向东南亚,trace 要采样、脱敏、定期备份。
需要一台机器跑 Langfuse,建议先按小时开一台香港 CN2 节点,先把 trace 和成本跑通。







