docker容器中部署 kafka 和 elk

docker容器中部署 kafka 和 elk

1、下载zookeeper docker pull wurstmeister/zookeeper2、下载kafka docker pull wurstmeister/kafka:2.11-0.11.0.33、启动zookeeper docker run -d --name zookeeper --publish 2181:2181 --volume /etc/localtime:/etc/localtime wurstmeister/zookeeper 报错： docker: Error response from daemon: OCI runtime create failed: container_linux.go:349: starting container process caused "process_linux.go:449: container init caused \"rootfs_linux.go:58: mounting \\\"/etc/localtime\\\" to rootfs \\\"/var/lib/docker/overlay2/7b63cb086d7b04c3b5a979624d6ea3c39672b268e634d0d80224eefde47e51e2/merged\\\" at \\\"/var/lib/docker/overlay2/7b63cb086d7b04c3b5a979624d6ea3c39672b268e634d0d80224eefde47e51e2/merged/etc/localtime\\\" caused \\\"not a directory\\\"\"": unknown: Are you trying to mount a directory onto a file (or vice-versa)? Check if the specified host path exists and is the expected type. 解决：创建一个自定义容器卷 edc-zookeeper-vol   查看所有容器：docker volume ls docker volume edc-zookeeper-vol 将挂载的目录也修改为 /var/lib/docker/volumes/etc/localtime 再次执行： docker run -d --name zookeeper --publish 2181:2181 --volume edc-zookeeper-vol:/var/lib/docker/volumes/etc/localtime wurstmeister/zookeeper4、启动kafa docker run -d --name kafka --publish 9092:9092  --link zookeeper  --env KAFKA_ZOOKEEPER_CONNECT=192.168.0.104:2181  --env KAFKA_ADVERTISED_HOST_NAME=192.168.0.104  --env KAFKA_ADVERTISED_PORT=9092  --volume edc-zookeeper-vol:/var/lib/docker/volumes/etc/localtime  wurstmeister/kafka:2.11-0.11.0.35、创建topic 以下是因为kafka-topics.sh并不在bin目录下所走的弯路： 查看kafka容器ID：docker ps 进入容器：docker exec -it [容器ID] bin/bash 创建topic bin/kafka-topics.sh --create --zookeeper 192.168.0.104:2181 --replication-factor 1 --partitions 1 --topic mykafka 问题：创建topics时执行命令报错：bash: bin/kafka-topics.sh: No such file or directory 进入bin文件：cd /bin 创建文件kafka-topic.sh文件：touch kafka-topics.sh   问题：再次执行创建topic时报错：bash: bin/kafka-topics.sh: Permission denied   因为没有权限 解决：进入文件所在的目录执行：chmod a+x *.sh  然后再次执行创建topics的命令 其实kafka-topics.sh文件在 /opt/kafka/bin 目录下 再次创建：  opt/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.0.104:2181 --replication-factor 1 --partitions 1 --topic mykafka 返回：Created topic "mykafka".  说明已创建成功6、查看topic opt/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.0.104:2181返回：mykafka7、创建生产者  opt/kafka/bin/kafka-console-producer.sh --broker-list 192.168.0.104:9092 --topic mykafka 返回：>  表示进入输入状态8、重新开一个命令行窗口，并再次进入kafka容器中，创建消费者 opt/kafka/bin/kafka-console-consumer.sh --zookeeper 192.168.0.104:2181 --topic mykafka --from-beginning9、在生产者的命令行中输入信息，在消费者的命令行窗口就可以实时的接收到信息。10、安装ELK docker pull sebp/elk11、启动ELK docker run -p 5601:5601 -p 9200:9200 -p 9300:9300 -p 5044:5044 -e ES_MIN_MEM=128m  -e ES_MAX_MEM=2048m -d --name elk sebp/elk 过10秒就可以看到ELK相关的面板。：http://localhost:5601/12、进入ELK容器： docker exec -it 容器ID bin/bash13、测试 Logstash和ES之间是可以正常联通/opt/logstash/bin/logstash -e 'input { stdin { } } output { elasticsearch { hosts => ["localhost"] } }'报错： Logstash could not be started because there is already another instance using the configured data directory.  If you wish to run multiple instances, you must change the "path.data" setting. 进入指定的文件夹root@c953e1538736:/opt/logstash/data#  中将.lock文件删除 再次执行命令 /opt/logstash/bin/logstash -e 'input { stdin { } } output { elasticsearch { hosts => ["localhost"] } }'14、这句话：Successfully started Logstash API endpoint {:port=>9600}表示成功 然后输入一句话：olidigital.com hello world 回车 打开浏览器，输入：http://192.168.0.104:9200/_search?pretty 如图，就会看到我们刚刚输入的日志内容。（并没有找到输入的日志，待解。。。）15、配置Logstash从Kafka消费消息1） 找到config文件 cd /opt/logstash/config2） 编辑配置文件（没有该文件会新建一个） vi logstash.config 输入内容： input {         kafka{                 bootstrap_servers =>["192.168.0.104:9092"]                 client_id => "test" group_id => "test"                 consumer_threads => 5                 decorate_events => true                 topics => "mi"         } } filter{         json{                 source => "message"         } } output {         elasticsearch {                 hosts => ["localhost"]                 index => "mi-%{app_id}"                 codec => "json"         } }  16、进入elk加载配置文件从kafka上消费/opt/logstash/bin/logstash -f  /opt/logstash/config/logstash.config

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。