扣丁学堂大数据培训之Java API操作HDFS之文件下载实现详解

2018-09-20 13:53:51 413浏览

扣丁学堂大数据培训老师接着是上一篇内容来给大家介绍一下关于JavaAPI操作HDFS之文件下载实现的详细介绍，希望对同学们有所帮助，下面我们一起来看一下吧。

HDFS核心类简介

Configuration类：处理HDFS配置的核心类。

FileSystem类：

处理HDFS文件相关操作的核心类,包括对文件夹或文件的创建，删除，查看状态，复制，从本地挪动到HDFS文件系统中等。

Path类：处理HDFS文件路径。

IOUtils类：处理HDFS文件读写的工具类。

核心类中重要方法简介

1.FileSystemget(URIuri,Configurationconf)

根据HDFS的URI和配置，创建FileSystem实例

2.publicbooleanmkdirs(Pathf)throwsIOException

根据路径创建HDFS文件夹

3.FSDataOutputStreamcreate(Pathf,booleanoverwrite)

根据具体的路径创建文件，并且知名是否以重写的方式

4.abstractbooleandelete(Pathf,booleanrecursive)

根据路径删除文件

5.abstractFileStatus[]?listStatus(Pathf)

根据路径，返回该路径下所有文件夹或文件的状态。

6.VoidmoveFromLocalFile(Pathsrc,Pathdst)

将本地路径下的文件，挪动到HDFS的指定路径下

7.FSDataInputStreamopen(Pathf)

打开指定路径下的文件内容

关键步骤说明

第一步：开发环境准备，包括JDK、开发工具的安装

第二步：创建项目，配置jar依赖pom.xml文件

第三步：编写核心代码

具体代码实战

最后，可通过Hadoopshell的方式查看文件是否下载到本地，扣丁学堂提供完整大数据学习路线内容包含Linux&&Hadoop生态体系、大数据计算框架体系、云计算体系、机器学习&&深度学习等大数据视频教程内容，根据大数据学习路线图可以让你对学习大数据需要掌握的知识有个清晰的了解，并快速入门大数据开发，扣丁学堂大数据学习群：769591751

【关注微信公众号获取更多学习资料】 

查看更多关于“大数据培训资讯”的相关文章>