hdfs写流程

hdfs写流程

1、hdfs 客户端调用文件系统 的fileSystem.create 方法和nn进行rpc通信，nn 会去check这个路径的文件是否存在，是否有权限能够创建这个文件！假如都ok,就去创建一个新的空文件，此时该文件还没有数据，是不关联任何block,nn根据上传的文件大小，根据块的大小和副本参数，计算要上传多少块和块存储的dn 的位置，最终将这些信息返回给客户端

2、client 调用fsdataoutputstream 对象的write方法，将第一个块的第一个副本写到第一个dn节点，写完第二个副本写dn2,,写完第2个写第三个，当都写完后，就返回一个ack packet确定包给dn2节点，dn2接受这个包并且确定自己也写完了，就返回一个ack packe 给第一个节点，当第一个节点接受到这ack packet 确定包加上自己也写完了就将这个ack packet 返回给 fsdataoutputstream 对象，标识第一个块写完依次类推

3、当所有 的块都写完，client 调用fsdataoutstream 对象的close方法关闭数据流，再次掉用filesystem.complet 方法，告诉nn文件写成

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。