https://lppgo.github.io/tags/filebeat/Recent content in Filebeat on Even - A super concise theme for HugoHugoenMon, 13 Jul 2026 00:00:00 +0000https://lppgo.github.io/post/golang/040_go%E6%97%A5%E5%BF%97%E5%88%86%E6%9E%90%E7%B3%BB%E7%BB%9F-elk%E5%AE%9E%E6%97%B6%E6%97%A5%E5%BF%97%E7%9B%91%E6%8E%A7/Mon, 13 Jul 2026 00:00:00 +0000https://lppgo.github.io/post/golang/040_go%E6%97%A5%E5%BF%97%E5%88%86%E6%9E%90%E7%B3%BB%E7%BB%9F-elk%E5%AE%9E%E6%97%B6%E6%97%A5%E5%BF%97%E7%9B%91%E6%8E%A7/<div align="center"><font size="35">Go日志分析系统-ELK实时日志监控</font></div> <h1 id="1-概述与适用范围">1: 概述与适用范围</h1> <ul> <li>本文搭建一套可在单台开发机运行的日志采集与检索环境，完整链路为：<code>Go 应用 -&gt; JSON 日志文件 -&gt; Filebeat -&gt; Logstash -&gt; Elasticsearch -&gt; Kibana</code>；</li> <li>Go 应用负责逐行写入结构化 JSON，Filebeat 负责增量读取文件，Logstash 负责接收和转发，Elasticsearch 负责存储与检索，Kibana 负责可视化查询；</li> <li>教程面向 Go 开发者和初级 DevOps 工程师，重点是先跑通一个可观察、可排障的最小闭环；</li> <li>本文的 Compose 配置关闭了 Elastic 安全认证，<strong>仅允许用于本机学习，禁止直接暴露到公网或照搬到生产环境</strong>；</li> <li>原文参考：<a href="https://mp.weixin.qq.com/s/wdotnnhFI2NfNkp5hnenaQ">Go日志分析系统-ELK实时日志监控</a>。</li> </ul> <h1 id="2-elkfilebeat-组件职责">2: ELK/Filebeat 组件职责</h1> <table> <thead> <tr> <th>组件</th> <th>职责</th> <th>本文端口</th> </tr> </thead> <tbody> <tr> <td>Go 应用</td> <td>生成逐行 JSON 业务日志</td> <td>无</td> </tr> <tr> <td>Filebeat</td> <td>追踪文件读取位置，将新增日志发送给 Logstash</td> <td>无</td> </tr> <tr> <td>Logstash</td> <td>通过 Beats input 接收事件，并写入指定索引</td> <td><code>5044</code>，监控 API <code>9600</code></td> </tr> <tr> <td>Elasticsearch</td> <td>存储、索引和查询日志</td> <td><code>9200</code></td> </tr> <tr> <td>Kibana</td> <td>创建 Data View，使用 KQL 检索日志</td> <td><code>5601</code></td> </tr> </tbody> </table> <ul> <li>Filebeat 比直接让 Go 应用调用 Elasticsearch 更容易处理断线重试、读取进度和日志轮转；</li> <li>Logstash 在这个入门示例中只做轻量转发。后续需要字段清洗、脱敏或路由时，可以在 pipeline 中增加 filter；</li> <li>Elasticsearch 和 Kibana 比较消耗内存，启动前应确认 Docker 可用资源充足。</li> </ul> <h1 id="3-数据流与示例目录">3: 数据流与示例目录</h1> <p>数据流如下：</p>