【CentOS】安装 Flume 组件

【CentOS】安装 Flume 组件

文章目录

​​1、解压 Flume 安装包​​​​2、配置系统环境变量​​​​3、配置 flume-env.sh​​​​4、验证安装​​​​5、测试 flume​​

准备环境：Hadoop 完全分布式集群环境Flume 安装包：​​Flume 安装包

将本地安装包上传至虚拟机：

解压 flume 安装包并重命名：

​​返回顶部​​

2、配置系统环境变量

使用 root 用户设置 Flume 环境变量，并使环境变量对所有用户生效：

[root@server src]# vi /etc/profile# 添加以下内容# set flume environmentexport FLUME_HOME=/usr/local/src/flume # Flume 安装路径export PATH=$PATH:$FLUME_HOME/bin # 添加系统 PATH 环境变量[root@server src]# source /etc/profile

​​返回顶部​​

3、配置 flume-env.sh

切换到 ​​/usr/local/src/flume/conf​​ 目录，拷贝 ​​flume-env.sh.template​​ 文件并重命名为 ​​flume-env.sh​​ ：

[root@server src]# cd /usr/local/src/flume/conf/[root@server conf]# ll总用量 16-rw-r--r--. 1 501 games 1661 5月 9 2015 flume-conf.properties.template-rw-r--r--. 1 501 games 1110 5月 9 2015 flume-env.ps1.template-rw-r--r--. 1 501 games 1214 5月 9 2015 flume-env.sh.template-rw-r--r--. 1 501 games 3107 5月 9 2015 log4j.properties[root@server conf]# cp flume-env.sh.template flume-env.sh[root@server conf]# ll总用量 20-rw-r--r--. 1 501 games 1661 5月 9 2015 flume-conf.properties.template-rw-r--r--. 1 501 games 1110 5月 9 2015 flume-env.ps1.template-rw-r--r--. 1 root root 1214 2月 25 18:29 flume-env.sh-rw-r--r--. 1 501 games 1214 5月 9 2015 flume-env.sh.template-rw-r--r--. 1 501 games 3107 5月 9 2015 log4j.properties

删除 ​​JAVA_HOME​​ 变量前的注释，修改为 ​​JDK​​ 的安装路径：

[root@server ~]# vi /usr/local/src/flume/conf/flume-env.sh# 修改 JAVA_HOME 参数值为 jdk 安装路径export JAVA_HOME=/usr/local/src/java

​​返回顶部​​

4、验证安装

[root@server bin]# flume-ng versionFlume 1.6.0Source code repository: 2561a23240a71ba20bf288c7c2cda88f443c2080Compiled by hshreedharan on Mon May 11 11:15:44 PDT 2015From source with

​​返回顶部​​

5、测试 flume

通过 Flume 将 Web 服务器中数据传输到 HDFS 中。在 Flume 安装目录中创建 ​​simple-hdfs-flume.conf​​ 文件，插入以下内容：

a1.sources=r1a1.sinks=k1a1.channels=c1a1.sources.r1.type=spooldira1.sources.r1.spoolDir=/usr/local/src/hadoop/logs/a1.sources.r1.fileHeader=truea1.sinks.k1.type=hdfsa1.sinks.k1.hdfs.path=hdfs://server:9000/tmp/flumea1.sinks.k1.hdfs.rollsize=1048760a1.sinks.k1.hdfs.rollCount=0a1.sinks.k1.hdfs.rollInterval=900a1.sinks.k1.hdfs.useLocalTimeStamp=truea1.channels.c1.type=filea1.channels.c1.capacity=1000a1.channels.c1.transactionCapacity=100a1.sources.r1.channels = c1a1.sinks.k1.channel =

在 hdfs 上创建 ​​/tmp/flume​​ 目录：

[root@server flume]# hdfs dfs -mkdir /tmp/flume

使用 ​​flume-ng agent​​ 命令加载 ​​simple-hdfs-flume.conf​​ 配置信息，启动 flume 传输数据：

[root@server flume]# flume-ng agent --conf-file simple-hdfs-flume.conf --name a1

查看 Flume 传输到 HDFS 的文件，若能查看到 HDFS 上 ​​/tmp/flume​​ 目录有传输的数据文件，则表示数据传输成功:

[root@server flume]# hdfs dfs -ls /tmp/flumeFound 113 items-rw-r--r-- 3 root supergroup 1606 2022-02-25 18:59 /tmp/flume/FlumeData.1645786755946-rw-r--r-- 3 root supergroup 1566 2022-02-25 18:59 /tmp/flume/FlumeData.1645786755947-rw-r--r-- 3 root supergroup 1676 2022-02-25 18:59 /tmp/flume/FlumeData.1645786755948-rw-r--r-- 3 root supergroup 2949 2022-02-25 18:59 /tmp/flume/FlumeData.1645786755949-rw-r--r-- 3 root supergroup 2163 2022-02-25 18:59 /tmp/flume/FlumeData.1645786755950-rw-r--r-- 3 root supergroup 2163 2022-02-25 18:59 /tmp/flume/FlumeData.1645786755951-rw-r--r-- 3 root supergroup 2163 2022-02-25 18:59 /tmp/flume/FlumeData.1645786755952................

​​返回顶部​​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。