Windows7成功安装Flume 1.7！

Windows7成功安装Flume 1.7！

​

一、简介

Flume

Apache Flume 是一个分布式，可靠且可用的系统，用于有效地从许多不同的源收集、聚合和移动大量日志数据到一个集中式的数据存储区。

Flume 的使用不只限于日志数据。因为数据源可以定制，flume 可以被用来传输大量事件数据，这些数据不仅仅包括网络通讯数据、社交媒体产生的数据、电子邮件信息等等。

Apache Flume 目前有两种主版本： 0.9.x 和 1.x。 其中 0.9.x 是历史版本，我们称之为 Flume OG（original generation）。2011 年 10 月 22 号，cloudera 完成了 Flume-728，对 Flume 进行了里程碑式的改动：重构核心组件、核心配置以及代码架构，重构后的版本统称为 Flume NG（next generation），也就是本文所说的 1.x 版本。

Kafka

Apache Kafka起源于LinkedIn，后来于2011年成为开源Apache项目，然后于2012年成为First-class Apache项目。Kafka是用Scala和Java编写的。 Apache Kafka是基于发布订阅的容错消息系统。 它是快速，可扩展和设计分布。

Apache Kafka是一个分布式发布——订阅消息系统和一个强大的队列，可以处理大量的数据，并使您能够将消息从一个端点传递到另一个端点。 Kafka适合离线和在线消息消费。Kafka消息保留在磁盘上，并在群集内复制以防止数据丢失。 Kafka构建在ZooKeeper同步服务之上。 它与Apache Storm和Spark非常好地集成，用于实时流式数据分析。

以下是Kafka的主要优势：

可靠性 - Kafka是分布式，分区，复制和容错的。可扩展性 - Kafka消息传递系统轻松缩放，无需停机。 耐用性 - Kafka使用分布式提交日志，这意味着消息会尽可能快地保留在磁盘上，因此它是持久的。 性能 - Kafka对于发布和订阅消息都具有高吞吐量。 即使存储了许多TB的消息，它也保持稳定的性能。

总之，Kafka非常快，基本可以保证零停机和零数据丢失。

安装硬件环境

普通学生机，Windows7 64BITS SP1，4G内存（建议8G）

二、下载Flume 1.7

下载地址：​​1.7

解压上面下载后的文件apache-flume-1.7.0-bin.tar.gz。为了操作方便，我还是将解压后的文件夹改名为flume-1.7.0，并把整个文件夹及其内容复制到C盘根目录下，方便后面操作，如图所示。

配置环境变量

先创建一个环境变量FLUME_HOME=C:\flume-1.7.0

然后，在PATH变量内容后面添加%FLUME_HOME%\conf;%FLUME_HOME%\bin

创建或者修改配置文件

使用资源管理器打开路径C:\flume-1.7.0\conf。

【1】把文件flume-env.sh-template复制一份，并修改其中一个文件为flume-env.sh，在此文件最后一行添加 在最后行输入：export JAVA_HOME = 安装的jdk路径。例如我的内容添加如下：

export JAVA_HOME =C:\Java\jdk1.8.0_311

【2】类似，再把文件flume-env.ps1-.template复制一份，并修改其中一个文件为flume-env.ps1。

然后，切换到CMD命令行，运行命令flume-ng version，没有特殊情况会出现如下界面：

输入r，即运行一次。之后，又出现提示信息，再按下r继续运行一次。之后，如果出现如下图所示界面，即说明flume在Windows7下安装顺利！

注意：上图中提示两个警告：

WARN: HBASE_HOME not found

WARN: HIVE_HOME not found

这个是正常的，因为我们还没有安装HBase和Hive两个软件。

创建简单示例配置文件监听44444端口输入并在console输出

使用你熟悉的任何文本编辑器在C:\flume-1.7.0\conf路径下创建一个简单的配置文件example.conf，内容如下：

# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 44444# Describe the sinka1.sinks.k1.type = logger# Use a channel which buffers events in memorya1.channels.c1.type = memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1a1.sinks.k1.channel = c1

为简单起见，这里只是一个agent的简单demo，一个agent的结构图：

启动Flume进程

使用cmd命令行，进入C:\flume-1.7.0\bin，运行下面命令启动Flume。

flume-ng agent --conf ../conf --conf-file ../conf/example.conf --name a1 -property flume.root.logger=INFO,console

如果能够在控制台最后内容中看到下面这个端口监听提示，即表示Flume进程正常启动了。

四、使用telnet简单测试

启动另外一个cmd，使用telnet连接到44444端口并发送信息Hello World!

telnet localhost 44444

这里有一个重要细节：当有些同学在CMD命令行下直接运行telnet时可能会出现错误提示。原因一般是这个软件没有在你的Windows系统中安装。此时，你可以通过控制面板轻松安装一下。

方法是，打开你的资源管理器，然后在最上面地址中输入“控制面板\所有控制面板项\程序和功能”后按下回车。然后，从当前界面中从左边选择“打开或者关闭Windows功能”。

注意到，如果在Flume的控制台中可以看到如下提示，即说明通讯成功！

【注意】当你发送的数据超过16字节时，在console的界面上也只能最多显示16字节，其实数据是能完全接收完全的！如果发送数据真的超过最大长度，会出现Client sent event exceeding the maximum length错误。

五、下载与安装ZooKeeper和Kafla

这两个软件的安装与测试都比较简单，详见我的另一篇文章​​Windows7成功安装并启动Kafka​​。在此不再赘述。

八、小结

引用

​​Apache Kafka 教程​​​​windows上安装运行flume​​​​Apache Flume 入门教程​​​​在Windows安装运行Kafka​​​​超详细kafka教程来啦 ​​​​w3cschool的Kafka教程​​​​Apache快速入门Flume页面​​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。