Hadoop 安装

Hadoop 安装

Hadoop 安装

打开xshell连接Linux系统，

1.查看Java版本：Java -version

2.查看mysql：mysql -uroot -proot

//打开mysql

mysql> use mysql

​ Reading table information for completion of table and column names​ You can turn off this feature to get a quicker startup with -A

​ Database changed

​ //查询user

mysql> select user,host from user where user='root' ;

+------+-----------+| user | host |+------+-----------+| root | % || root | 127.0.0.1 || root | bigdata || root | localhost |+------+-----------+5 rows in set (0.00 sec)

​ mysql> Ctrl-C -- exit!​ Aborted

3.把Hadoop文件拉到opt文件夹下面

查看JAVA_HOME的路径等会要用

4.[root@bigdata opt]# echo $JAVA_HOME

/opt/inst/jdk181

5.解压hadoop-2.6.0-cdh5.14.2.tar.gz

[root@bigdata opt]# tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz

6.新建文件夹bigdata

[root@bigdata opt]# mkdir bigdata

//把 hadoop-2.6.0-cdh5.14.2移动到bigdata下面的hadoop260（新建的）

[root@bigdata opt]# mv hadoop-2.6.0-cdh5.14.2 bigdata/hadoop260

6.进入Hadoop准备改配置文件（共5个）

[root@bigdata opt]# cd bigdata/hadoop260/etc/hadoop（这是Hadoop存放文件的路径）

core-site.xml hdfs-site.xml hadoop-env.sh mapred-site.xml yarn-site.xml

（1）配置环境变量里的运行脚本

[root@bigdata hadoop]# vi hadoop-env.sh

export JAVA_HOME=/opt/inst/jdk181

（2）配置核心文件

//进入浏览器Hadoop.apache.org下载Hadoop的地址

[root@bigdata hadoop]# vi core-site.xml

//想要和环境系统通信就要使用fs.defaultFS地址 fs.defaultFS //hdfs协议：//主机名：端口号9000 //查看主机名：hostname hdfs://bigdata:9000 //基本的临时目录（记录一些信息） hadoop.tmp.dir //在opt下新建hadoopdata文件夹，这样就不会轻易丢东西了 /opt/hadoopdata //设置Hadoop权限，准备以后安装的软件和Hadoop整合，给root用户身份登录 hadoop.proxyuser.root.users //只要是root型用户就可以登录 * //开放权限：只要是root用户组的用户，也可以登录 hadoop.proxyuser.root.groups *

（3）配置文件系统（当前计算机有什么约束？就是准备文件备份几次）

[root@bigdata hadoop]# vi hdfs-site.xml

//一般情况下是三个备份1，本机中 2，同机架中 3，跨另外机架中（电路不一样了）

//单节点：配置副本数为1 (replication就是副本的意思) dfs.replication 1

（4）配置资源管理文件（计算用的）

//先拷贝mapred

[root@bigdata hadoop]# cp mapred-site.xml.template mapred-site.xml

//编辑mapred

[root@bigdata hadoop]# vi mapred-site.xml

//计算的时候会调用资源框架，分配任务（mapreduce依赖于yarn（雅恩）） mapreduce.framework.name yarn

（5）配置yarn框架（就是调度资源的那个）

[root@bigdata hadoop]# vi yarn-site.xml

//资源管理器（把拿到的文件分配给谁，让谁去写）可以指定ip地址 yarn.resourcemanager.localhost //单机版或者伪分布式版可以这样配置 localhost //节点管理器（每隔5分钟给我一个回应（以心跳的方式通知资源管理器））管理的是硬件信息（就 是发信息的，如：cpu的状态，心跳等等） yarn.nodemanager.aux-services mapreduce_shuffle

7.将用户配置到环境变量

[root@bigdata hadoop]# vi /etc/profile //配置全局变量

export HADOOP_HOME=/opt/bigdata/hadoop260 //我自己的Hadoop路径 export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin export HADOOP_INSTALL=$HADOOP_HOME

进程于主机之间的关系

先激活一下hadoop的配置文件

[root@bigdata hadoop]# source /etc/profile

准备格式化hdfs

[root@bigdata hadoop]# hdfs namenode -format

启动上面的节点（5个）

[root@bigdata hadoop]# start-all.sh

查看后台进程命令：jps

停止进程

[root@bigdata hadoop]# stop-all.sh

//hdfs是正常命令 dfs 是文件目录操作命令 -ls 查看 / 根目录

[root@bigdata hadoop]# hdfs dfs -ls /

//创建一个文件夹

[root@bigdata hadoop]# hdfs dfs -mkdir /cm

[root@bigdata hadoop]# vi /opt/a.txt

[root@bigdata hadoop]# cat /opt/a.txt 查看文件夹

//将虚拟机里面的文件夹考到Hadoop系统里（U盘里）

[root@bigdata hadoop]# hdfs dfs -put /opt/a.txt /cm/

[root@bigdata hadoop]# hdfs dfs -ls /cm 查看一下

启动Hadoop命令：[root@bigdata hadoop]#start-all.sh

【注意!!!】

本机的ResourceManager端口和docker端口是同一个端口：192.168.56.101：8088

下次启动可能还会抢占端口，出现异常关闭dockers服务：[root@bigdata logs]# systemctl stop docker 启动 systemctl start docker

netstat:查看所有的网络数据结构的网络状态（端口号）

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。