基于Docker搭建ELK 日志系统的方法

ELK是一套开源日志管理系统，由Elasticsearch、Logstash和Kibana三个开源软件构成。其中Elasticsearch是一个分布式搜索引擎，可以快速存储、搜索和分析大量数据；Logstash是一个数据采集引擎，可以从各种数据源中实时收集数据并将其发送到Elasticsearch；Kibana是一个可视化工具，可以通过Web接口对Elasticsearch中存储的数据进行实时查询和可视化分析。在本文中，我们将使用Docker搭建ELK日志系统。

一、安装Docker

在开始之前，我们需要安装Docker。Docker是一种轻量级虚拟化解决方案，可以在单个操作系统上运行多个容器。Docker容器是一个独立的、可运行的软件包，包含应用程序和它的全部依赖关系。使用Docker，可以快速地部署和运行应用程序，同时降低了维护和升级的成本。

我们可以通过以下命令安装Docker：

sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io

二、启动Elasticsearch

我们使用以下命令启动Elasticsearch：

docker run -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.11.2

该命令会从Docker Hub下载elasticsearch:7.11.2镜像，并将Elasticsearch运行在容器中。参数-p用于映射Elasticsearch所使用的端口。在本例中，我们将端口9200和9300映射到主机上的相应端口。参数-e用于设置环境变量。在本例中，我们将discovery.type设置为single-node，表示我们只使用单节点模式运行Elasticsearch。

三、启动Logstash

我们使用以下命令启动Logstash：

docker run --rm -it -v "$PWD":/config-dir logstash:7.11.2 -f /config-dir/logstash.conf

该命令会从Docker Hub下载logstash:7.11.2镜像，并将Logstash运行在容器中。参数--rm表示在容器退出时自动删除容器。参数-it表示交互式运行容器。参数-v用于挂载宿主机上的文件目录到容器中的/config-dir目录上。在本例中，我们将当前目录($PWD)挂载到容器中的/config-dir目录上。参数-f用于指定Logstash配置文件。在本例中，我们将logstash.conf配置文件指定为Logstash的配置文件。

四、编写Logstash配置文件

我们需要编写一个Logstash的配置文件来指定Logstash从哪里获取日志数据，并将其发送到Elasticsearch索引中。在本例中，我们将配置文件命名为logstash.conf，并将其放置在当前目录下。

logstash.conf文件内容如下：

input {
  tcp {
    port => 5000
    codec => json
  }
}

output {
  elasticsearch {
    hosts => ["http://elasticsearch:9200"]
    index => "logstash-%{+YYYY.MM.dd}"
  }
  stdout { codec => rubydebug }
}

该配置文件指定了Logstash从tcp端口5000接收json数据，并将其发送到Elasticsearch索引中。在output段中，我们指定了Elasticsearch的地址和索引名称。索引名称使用了日期模式，为每个日期创建一个新的索引。

五、启动Kibana

我们使用以下命令启动Kibana：

docker run -p 5601:5601 kibana:7.11.2

该命令会从Docker Hub下载kibana:7.11.2镜像，并将Kibana运行在容器中。参数-p用于映射Kibana所使用的端口。在本例中，我们将端口5601映射到主机上的相应端口。

六、测试ELK日志系统

现在，我们已经成功地搭建了ELK日志系统。我们可以通过向Logstash发送日志数据来测试系统。以下是一个简单的Python脚本，用于向Logstash发送JSON格式的日志数据：

import json
import socket

data = {
    'message': 'hello world',
    'timestamp': '2021-05-01T10:00:00.000Z',
    'severity': 'INFO',
    'source': 'python'
}

sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.connect(('localhost', 5000))

sock.sendall(json.dumps(data).encode('utf-8'))
sock.close()

该脚本创建一个包含日志数据的字典，将其转换为JSON格式，并使用TCP协议将其发送到日志服务（Logstash）上的5000端口。运行脚本后，我们可以在Kibana的控制台上看到接收到的日志数据，并进行查询和可视化分析。

七、总结

通过使用Docker搭建ELK日志系统，我们可以快速地构建一套可靠、高效的日志管理系统。该系统可以为我们提供实时的日志数据收集、存储、分析和可视化，可以帮助我们快速定位和解决问题，提高系统的可靠性和稳定性。