Hadoop出现DataXceiver error processing WRITE_BLOCK operation

Hadoop出现DataXceiver error processing WRITE_BLOCK operation

字面理解为文件操作超租期，实际上就是data stream操作过程中文件被删掉了。以前也遇到过，通常是因为Mapred多个task操作同一个文件，一个task完成后删掉文件导致。

​修改1、datanode所在的linux服务器提高文件句柄参数；

2、增加DataNode句柄参数：dfs.datanode.max.transfer.threads

修改hdfs-site.xml

dfs.datanode.max.transfer.threads 8192

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。