#yyds干货盘点# hadoop hdfs API基础操作整理

#yyds干货盘点# hadoop hdfs API基础操作整理

创建maven工程,引入依赖

注意这里的hadoop客户端版本号要和hadoop集群使用相同的版本

org.apache.hadoop hadoop-client 3.3.0 junit junit 4.12 org.slf4j slf4j-log4j12 1.7.30

在resource文件夹下创建 log4j.properties

log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n log4j.appender.logfile=org.apache.log4j.FileAppender log4j.appender.logfile.File=target/spring.log log4j.appender.logfile.layout=org.apache.log4j.PatternLayout log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

创建文件夹

@Test public void testMkdirs() throws IOException, URISyntaxException, InterruptedException { // 1 获取文件系统 Configuration configuration = new Configuration(); // 8020 是内部端口号 // FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:8020"), configuration); // apple 是我使用的用户名，这里需要修改成自己的 FileSystem fs = FileSystem.get(new URI("hdfs://localhost:8020"), configuration,"apple"); // 2 创建目录 fs.mkdirs(new Path("/xiyou/huaguoshan/")); // 3 关闭资源 fs.close(); }

上传文件

@Test public void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException { // 1 获取文件系统 Configuration configuration = new Configuration(); // 配置副本数目 代码中的优先级最高 大于资源目录 大于 hdfs-site.xml 大于 hadoop默认的hdfs-default.xml configuration.set("dfs.replication", "2"); FileSystem fs = FileSystem.get(new URI("hdfs://localhost:8020"), configuration, "apple"); // 2 上传文件 fs.copyFromLocalFile(false,false,new Path("/Users/apple/Desktop/java-sts-xxxxxxxxxxx.doc"), new Path("/个人简历.doc")); // 3 关闭资源 fs.close(); }

下载文件

@Test public void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException{ // 1 获取文件系统 Configuration configuration = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://localhost:8020"), configuration, "apple"); // 2 执行下载操作 // boolean delSrc 指是否将原文件删除 // Path src 指要下载的文件路径 // Path dst 指将文件下载到的路径 // boolean useRawLocalFileSystem 是否开启文件校验 fs.copyToLocalFile(false, new Path("/suitianshuang/个人简历.doc"), new Path("/Users/apple/Desktop"), true); // 3 关闭资源 fs.close(); }

删除文件

@Test public void testDelete() throws IOException, InterruptedException, URISyntaxException{ // 1 获取文件系统 Configuration configuration = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://localhost:8020"), configuration, "apple"); // 2 执行删除 fs.delete(new Path("/suitianshuang"), false); // 3 关闭资源 fs.close(); }

查看 hdfs 文件详情信息

@Test public void testListFiles() throws IOException, InterruptedException, URISyntaxException { // 1获取文件系统 Configuration configuration = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://localhost:8020"), configuration, "apple"); // 2 获取文件详情 RemoteIterator listFiles = fs.listFiles(new Path("/"), true); while (listFiles.hasNext()) { LocatedFileStatus fileStatus = listFiles.next(); System.out.println("========" + fileStatus.getPath() + "========="); System.out.println(fileStatus.getPermission()); System.out.println(fileStatus.getOwner()); System.out.println(fileStatus.getGroup()); System.out.println(fileStatus.getLen()); System.out.println(fileStatus.getModificationTime()); System.out.println(fileStatus.getReplication()); System.out.println(fileStatus.getBlockSize()); System.out.println(fileStatus.getPath().getName()); // 获取块信息 BlockLocation[] blockLocations = fileStatus.getBlockLocations(); System.out.println(Arrays.toString(blockLocations)); } // 3 关闭资源 fs.close(); }

判断是文件夹还是文件

@Test public void testListStatus() throws IOException, InterruptedException, URISyntaxException{ // 1 获取文件配置信息 Configuration configuration = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://localhost:8020"), configuration, "apple"); // 2 判断是文件还是文件夹 FileStatus[] listStatus = fs.listStatus(new Path("/")); for (FileStatus fileStatus : listStatus) { // 如果是文件 if (fileStatus.isFile()) { System.out.println("f:"+fileStatus.getPath().getName()); }else { System.out.println("d:"+fileStatus.getPath().getName()); } } // 3 关闭资源 fs.close(); }

配置副本数量

可以在 resource文件夹下创建 hdfs-site.xml

dfs.replication 1

优先级配置副本数目 代码中的优先级最高 大于资源目录 大于 hdfs-site.xml 大于 hadoop默认的hdfs-default.xml

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。