Hadoop之——前期准备篇

Hadoop之——前期准备篇

一、Hadoop核心项目

HDFS: Hadoop Distributed File System 分布式文件系统MapReduce：并行计算框架

二、HDFS的架构

主从结构

主节点，只有一个:namenode从节点，有很多个:datanodesnamenode负责：接收用户操作请求维护文件系统的目录结构管理文件与block之间关系，block与datanode之间关系

datanode负责：

存储文件文件被分成block存储在磁盘上为保证数据安全，文件会有多个副本

三、MapReduce的架构

主从结构

主节点，只有一个: JobTracker从节点，有很多个: TaskTrackers

JobTracker负责：

接收客户提交的计算任务把计算任务分给TaskTrackers执行监控TaskTracker的执行情况

TaskTrackers负责：

执行JobTracker分配的计算任务

四、Hadoop的特点

扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。 成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。 高效率（Efficient）：通过分发数据，hadoop可以在数据所在的节点上并行地（parallel）处理它们，这使得处理非常的快速。可靠性（Reliable）：hadoop能自动地维护数据的多份副本，并且在任务失败后能自动地重新部署（redeploy）计算任务。

五、Hadoop集群的物理分布

六、单节点物理结构

七、Hadoop部署方式

本地模式伪分布模式集群模式

八、伪分布模式安装步骤

关闭防火墙修改ip 修改hostname设置ssh自动登录安装jdk 安装hadoop

九、修改hadoop配置文件

hadoop-env.sh

export JAVA_HOME=/usr/local/jdk/

2.core-site.xml

fs.default.name hdfs://hadoop0:9000 change your own hostname hadoop.tmp.dir /usr/local/hadoop/tmp

3.hdfs-site.xml

dfs.replication 1 dfs.permissions false

4.mapred-site.xml

mapred.job.tracker hadoop0:9001 change your own hostname

注意：报AccessControlException:Permission denied:

在hdfs-site.xml增加

dfs.permissions false

十、启动Hadoop

先格式化namenode  hadoop namenode -format

在执行start-all.sh

十一、浏览Hadoop

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。