大数据之一：Hadoop安装

大数据之一：Hadoop安装

一、安装Hadoop

1.先解压hadoop到相关的文件夹中

2.进入到解压好的文件夹以后，对相关文件进行修改

3.配置hadoop-env.sh

vi hadoop-env.sh: export= JAVA_HOME=/opt/inst/jdk181

4.配置core-site.xml

vi core-site.xml

fs.defaultFS hdfs://bigdata:9000 hadoop.tmp.dir /opt/hadoopdata hadoop.proxyuser.root.users * hadoop.proxyuser.root.groups *

5.配置hdfs-site.xml

vi hdfs-site.xml

dfs.replication 1

6.配置cp mapred-site.xml.template mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

7.vi mapred-site.xml

mapreduce.framework.name yarn

8.vi yarn-site.xml

vi

9.vi /etc/profile

export HADOOP_HOME=/opt/bigdata/hadoop260 export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin export HADOOP_INSTALL=$HADOOP_HOME

10.更新并格式化

source /etc/profile hdfs namenode -format

11.启动

start-all.sh

jps #查看进程

12.把linux导入到hadoop中

hdfs dfs -put /opt/a.txt /cm/ hdfs dfs -ls /cm

Hadoop理解

三大核心

1.HDFS: Hadoop Distribute File System 分布式文件系统

​ NameNode:主节点，目录

​ DataNode：从节点，数据

​ SecondaryNameNode：主节点的备份

2.YARN：Yet Another Resource Negotiator 资源管理调度系统

​ 调度的是内存的资源和CPU的算力

​ 通过ResourceManager（只有一个） 来调度

​ ResourceManager主要作用：

​ 1.处理客户端请求

​ 2.监控NodeManager

​ 3.启动或监控ApplicationMaster（）

​ 4.资源的分配或调度

​ NodeManager（多个）

​ NodeManager主要作用：

​ 1.管理单个节点上的资源

​ 2.处理来自ResourceManager的命令

​ 3.处理来自ApplicationMaster的命令

3.MapReduce：分布式运算框架

​ 运算的

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。