Go日志分析系统-ELK实时日志监控

Go日志分析系统-ELK实时日志监控

1: 概述与适用范围

  • 本文搭建一套可在单台开发机运行的日志采集与检索环境,完整链路为:Go 应用 -> JSON 日志文件 -> Filebeat -> Logstash -> Elasticsearch -> Kibana;
  • Go 应用负责逐行写入结构化 JSON,Filebeat 负责增量读取文件,Logstash 负责接收和转发,Elasticsearch 负责存储与检索,Kibana 负责可视化查询;
  • 教程面向 Go 开发者和初级 DevOps 工程师,重点是先跑通一个可观察、可排障的最小闭环;
  • 本文的 Compose 配置关闭了 Elastic 安全认证,仅允许用于本机学习,禁止直接暴露到公网或照搬到生产环境;
  • 原文参考:Go日志分析系统-ELK实时日志监控。

2: ELK/Filebeat 组件职责

组件职责本文端口
Go 应用生成逐行 JSON 业务日志无
Filebeat追踪文件读取位置,将新增日志发送给 Logstash无
Logstash通过 Beats input 接收事件,并写入指定索引5044,监控 API 9600
Elasticsearch存储、索引和查询日志9200
Kibana创建 Data View,使用 KQL 检索日志5601
  • Filebeat 比直接让 Go 应用调用 Elasticsearch 更容易处理断线重试、读取进度和日志轮转;
  • Logstash 在这个入门示例中只做轻量转发。后续需要字段清洗、脱敏或路由时,可以在 pipeline 中增加 filter;
  • Elasticsearch 和 Kibana 比较消耗内存,启动前应确认 Docker 可用资源充足。

3: 数据流与示例目录

数据流如下:

01-hermes-team多agent

01--hermes-team多agent

Hermes Team 拆分方案整理

目的:把前面关于 Hermes Team 拆分、Profile 创建、角色职责、命令报错、执行步骤、后续任务的讨论整理成一个可直接落地执行的 hermes-team.md 文档。

01-Go开发效率神器汇总2

Table of Contents

1:开发工具

1: sql2go sql 语句转换为 Go 结构体,使用 ddl。 http://stming.cn/tool/sql2go.html

2: json2go 将 json 格式转为 Go struct https://mholt.github.io/json-to-go/

3: toml2go 将编码后的 toml 文本转为 Go struct https://xuri.me/toml-to-go/

4: curl2go 将 curl 命令转为 go 代码 https://mholt.github.io/curl-to-go/

08-code-review-graph:用知识图谱让 AI Code Review 省下 8 倍 Token

08-code-review-graph:用知识图谱让 AI Code Review 省下 8 倍 Token

平常用 Claude Code、Codex、Cursor 这类 AI Coding Agent 时,一个很常见的问题是:每次问一个稍微复杂一点的问题,AI 都会重新读一遍整个项目。

01-skill-hub管理众多Skills

01--skill-hub管理众多Skills

1: skill-hub 管理众多 Skills

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
# WSL

# npm install -g https://github.com/Backtthefuture/skillmanager/raw/main/release/claude-skill-hub.tgz && skill-hub
npm install -g https://github.com/Backtthefuture/huangshu/raw/main/tools/skill-hub/release/claude-skill-hub.tgz && skill-hub

added 104 packages in 5s

34 packages are looking for funding
  run `npm fund` for details

🚀 Claude Skill Hub running at http://localhost:3456
🌐 Web UI:   http://localhost:3456
🔍 Debug:    http://localhost:3456/api/debug
✅ Found 134 skills (9/41 locations, 525ms)
👀 File watcher active
💡 下次启动直接敲: skill-hub  (或访问 http://localhost:3456)

01-tmux快速使用手册

tmux 使用速查(面向 Claude TUI 场景)

1. 先记住 tmux 的 3 个层级

  • session:一个独立会话,像一整套工作台
  • window:会话里的标签页
  • pane:窗口里的分屏

你现在最需要会的是: