ELK

ELK

在前期部署阶段，主要工作是Logstash节点和Elasticsearch集群的部署，而在后期使用阶段，主要工作就是Elasticsearch集群的监控和使用Kibana来检索、分析日志数据了，当然也可以直接编写程序来消费Elasticsearch中的数据。 采用这样的架构部署，有三点优势：第一，降低对日志所在机器的影响，这些机器上一般都部署着反向代理或应用服务，本身负载就很重了，所以尽可能的在这些机器上少做事；第二，如果有很多台机器需要做日志收集，那么让每台机器都向Elasticsearch持续写入数据，必然会对Elasticsearch造成压力，因此需要对数据进行缓冲，同时，这样的缓冲也可以一定程度的保护数据不丢失；第三，将日志数据的格式化与处理放到Indexer中统一做，可以在一处修改代码、部署，避免需要到多台机器上去修改配置。  其次，我们需要做的是将数据放入一个消息队列中进行缓冲，所以Redis只是其中一个选择，也可以是RabbitMQ、Kafka等等，在实际生产中，Redis与Kafka用的比较多。由于Redis集群一般都是通过key来做分片，无法对list类型做集群，在数据量大的时候必然不合适了，而Kafka天生就是分布式的消息队列系统。

至此，ElasticSerach服务启动成功，接下来是Logstash 配置和启动Logstash

修改nginx配置

yum install -y wgetwget apache-tomcat-7.0.85.zip给脚本赋予可执行权限：chmod a+x /usr/local/work/apache-tomcat-7.0.85/bin/*.sh启动：/usr/local/work/apache-tomcat-7.0.85/bin/startup.sh浏览器访问：http://192.168.119.133:8080  访问Tomcat提供的example服务的子页面：http://192.168.119.133:8080/examples/servlets/servlet/RequestInfoExample 至此，Tomcat已经启动成功，接下来将Tomcat的访问日志接入ELK Tomcat访问日志接入ELK 打开FileBeat的配置文件/usr/local/work/filebeat-6.2.3-linux-x86_64/filebeat.yml，在”filebeat.prospectors:”下面新增一个配置节点，内容如下：  type: logenabled: truepaths: /usr/local/work/apache-tomcat-7.0.85/logs/localhost_access_log.*.txt 停掉filebeat服务，再用./filebeat -e -c filebeat.yml -d “publish”命令启动filebeat服务； 此时在Kibana页面已经可以搜索到Tomcat的访问日志，以“RequestInfoExample”作为关键词搜索也能搜到对应的访问日志 至此，ELK-6.2.3版本的服务和日志上报的搭建已经完成，后续如果还有业务服务器要上报日志，只需按照上述步骤安装和配置FileBeat即可 ELK官网下载地址https://elastic.co/cn/downloads

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。