大数据环境: hadoop和jdk部署

大数据环境: hadoop和jdk部署

系统环境:

CentOS7.9

关闭:

selinux、firewalld

软件版本:

jdk-16_linux-x64

hadoop-2.10.1

一、创建两个目录

mkdir -p /opt/software

mkdir -p /opt/module

二、上传hadoop-2.10.1和jdk-16_linux-x64到/opt/software目录

三、解压缩包

tar -xvf /opt/software/jdk-16_linux-x64_bin.tar.gz -C /opt/module/

tar -xvf /opt/software/hadoop-2.10.1.tar.gz -C /opt/module/

四、配置jdk、hadoop的环境变量

五、将新增加的环境变量参数载入系统生效

source /etc/profile

六、配置hadoop软件里的调用路径

vim /opt/module/hadoop-2.10.1/etc/hadoop/hadoop-env.sh

七、单机模式已经配置好了，启动一个统计文件试试

./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.1.jar wordcount /test_data/test.txt /home/test1.txt

八、查看统计结果

cat /home/test1.txt/part-r-00000

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。