属于大家的
VPS知识分享站

Loki + Promtail + Grafana:云服务器日志集中管理

Loki 只索引标签,不索引全文,所以比全文日志系统便宜。Promtail 采集、Loki 存储、Grafana 查询告警,小团队一台 2 核 4G 能跑,但日志量和保留时间要设上限。

先看架构:

  • Promtail:跑在每台机器上,读日志文件/容器日志,打标签后推给 Loki
  • Loki:按标签分块存储,压缩后放本地盘或对象存储
  • Grafana:用 LogQL 查询、做面板、配告警

部署

services:
  loki:
    image: grafana/loki
    command: -config.file=/etc/loki/local-config.yaml
    volumes:
      - ./loki-config.yaml:/etc/loki/local-config.yaml
      - loki-data:/loki
    ports: ["3100:3100"]
  promtail:
    image: grafana/promtail
    volumes:
      - /var/log:/var/log:ro
      - ./promtail-config.yaml:/etc/promtail/config.yml
    command: -config.file=/etc/promtail/config.yml
  grafana:
    image: grafana/grafana
    ports: ["3000:3000"]
volumes:
  loki-data:

小规模单机用本地盘即可;日志量大时把 chunks 放对象存储,Loki 只保留索引和最近数据。

Promtail 从多台服务器采集日志
Promtail 采集、Loki 存储、Grafana 查询,三层各司其职。

Promtail 配置

server:
  http_listen_port: 9080

clients:
  - url: http://loki:3100/loki/api/v1/push

scrape_configs:
  - job_name: system
    static_configs:
      - targets: [localhost]
        labels:
          job: varlogs
          host: web-1
          __path__: /var/log/*.log

标签别加太多,尤其是请求 ID、用户 ID 这种高基数标签,会把索引撑爆。常用标签:host、job、app、env、level。

Loki 配置和保留

limits_config:
  retention_period: 168h

compactor:
  working_directory: /loki/compactor
  retention_enabled: true
  delete_request_store: filesystem

保留 7 天是常见起点;合规或排障需要更久,就放对象存储并做降采样。磁盘满会导致写入失败,设 80% 告警。

Loki 压缩日志块并设置保留策略
保留时间要设上限,磁盘满了写入会失败。

查日志

{job="varlogs"} |= "error"
{app="nginx"} |~ "5.." | line_format "{{.message}}"
sum by(level) (count_over_time({app="api"} | json [5m]))

LogQL 先按标签缩小范围,再用 |= 过滤文本;先粗后细,别一上来全量 grep。

告警

Grafana 可以基于 Loki 查询配告警,例如“5 分钟内 error 超过 50 条”“某服务日志断流”。告警要带标签和链接,能直接跳到日志面板。

Grafana 查询日志并触发告警
基于日志的告警要带标签和面板链接。

安全

  • Loki、Grafana 不要直接暴露公网
  • Grafana 改默认密码、开 HTTPS、限制来源
  • 日志可能含手机号、token,入库前脱敏
  • Promtail 以只读方式挂载日志目录

常见坑

  • 高基数标签(request_id、user_id)导致索引爆炸
  • 不设保留,磁盘很快满
  • 日志重复采集,量翻倍
  • Grafana 默认密码不改
  • 日志含敏感信息未脱敏
  • 只采系统日志,不采应用和容器日志

日志规范化

统一 JSON 格式,带 timestamp、level、service、trace_id;应用别打多行堆栈到同一行,采集和查询都难受。规范越早定,后面越省事。

采集容器日志

Docker 日志默认在 /var/lib/docker/containers,Promtail 可以配 docker_sd 自动发现;K8s 用 DaemonSet 采 /var/log/pods。注意容器日志轮转和 max-size。

查询性能

先按标签缩小时间范围,再用文本过滤;避免大范围正则和全量扫描。常用查询存成 Grafana 面板,排障更快。

日志系统不是装完就完事,标签、格式、保留和脱敏都要持续维护。

先定格式和标签,再谈采集和查询,顺序反了后面要返工。

把日志当数据治理的一部分,而不是排障时才想起的附件。

标签少一点、保留短一点、脱敏多一点,系统就能跑得久。

日志系统是长期工程,不是一次性部署。

先把日志采上来,再逐步优化查询和成本,这一点真的没错啊啊好。

常见问题 FAQ

Q1:Loki 和 ELK 怎么选?

要全文检索、复杂分析,ELK 更强;要低成本、按标签查、和 Grafana 集成,Loki 更轻。

Q2:2 核 4G 能跑吗?

小规模可以,日志量大要加内存和磁盘;Loki 的瓶颈通常是磁盘和查询内存。

Q3:日志保留多久?

排障 7 到 30 天常见;合规另算。按磁盘和查询需求设,别无限保留。

Q4:怎么防止日志爆盘?

设保留、限制单文件大小、日志轮转、容器日志 max-size;Loki 磁盘 80% 告警。

Q5:需要每台都装 Promtail 吗?

要,它负责采集本机日志;容器环境可以用 DaemonSet 或 sidecar。

总结

Loki 组合适合小团队做集中日志:Promtail 采集、Loki 存储、Grafana 查询告警。标签要克制、保留要设上限、敏感信息要脱敏,磁盘和查询内存要监控。

要搭独立日志机,先按小时开一台香港 CN2 节点,跑 Loki + Grafana 验证。

参考来源

相关推荐

赞(0)
未经允许不得转载:VPS知识分享站 » Loki + Promtail + Grafana:云服务器日志集中管理