二、HDFS学习

二、HDFS学习

Hadoop Distributed File System 简称HDFS一、HDFS设计目标

2、一次写多次读     3、运行在普通的硬件上面     4、数据块尽量散步到各个节点中

二、HDFS不适合的场景

1、不适合低延迟的数据，对一个大文件整个文件进行读取，即批量读取而非随机读取     2、小文件     3、无法对文件的内容任意修改

三、HDFS架构

1、一个文件被划分成大小固定的多个文件块，分布的存储在集群中的节点中

四、总结

1、Block：一个文件分块，默认为64M     2、NameNode：保存整个文件的目录信息、文件信息以及文件相应的分块信息，如果namenode支持很多的datanode数据节点信息时，因为读取任意一个文件都需要从namenode中读取信息，那读取namenode就将是文件读取的瓶颈，所以为了避免这个问题的出现，一般将namenode的信息保存到内存中，同时将一些信息持久化到磁盘中，防止读取失败时有备份信息。     3、DataNode：用于存储Blocks     4、HDFS的HA策略：NameNode一旦宕机，整个文件系统将无法工作。如果NameNode中的数据丢失，整个文件系统也就丢失了。所以从hadoop2.x开始，HDFS支持NameNode的active-standy模式，就是同时开启多个namenode当active模式工作时，standy模式会同步active所有的信息，当active不能工作时，standy就会转变为active模式来接管namenode。

作者：少帅

您的支持是对博主最大的鼓励，感谢您的认真阅读。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。