CDH6.3使用JindoFS SDK无法使用hadoop distcp的问题解决

CDH6.3使用JindoFS SDK无法使用hadoop distcp的问题解决

原因：

原来使用的是aliyun-sdk-oss-2.8.3.jar，后来调查因为阿里的JindoFS SDK针对oss做了加速缓存，就替换成jindofs-sdk.jar，然后使用hadoop  distcp复制数据到oss的时候报错如下：

hadoop distcp hdfs://换成自己环境的IP:9000/group/user/tools/meta/hive-temp-table/kstj_os/tp_device/* oss://dbbigdatapro/group/user/tools/meta/hive-temp-table/kstj_os/tp_device

解决方案：

各个节点上传jindofs-sdk.jar到/root/目录下

使用以下命令复制到目录：

cp jindofs-sdk.jar /opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/hadoop-mapreduce/ cp jindofs-sdk.jar /opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/hadoop-yarn/lib/ cp jindofs-sdk.jar /opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/hadoop-yarn/

在yarn的界面操作以下

然后在执行命令进行操作：

以上代表成功了。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。