怎么做文化传播公司网站,网页设置背景颜色,招聘设计师去哪个网站,网站建设 阿里云实验二 HDFS客户端及API操作
实验目的#xff1a;
1.掌握HDFS的客户端操作#xff0c;包括上传文件、下载文件、重命名、查看目录等#xff1b;
2.掌握HDFS的Java API使用#xff0c;能够利用Java API实现上传、下载等常用操作#xff1b;
实验内容#xff1a;
HDF…实验二 HDFS客户端及API操作
实验目的
1.掌握HDFS的客户端操作包括上传文件、下载文件、重命名、查看目录等
2.掌握HDFS的Java API使用能够利用Java API实现上传、下载等常用操作
实验内容
HDFS客户端的使用
已搭建好三节点HDFS的前提下启动集群并在各自节点实现以下操作
在HDFS中创建以自己姓名首字母命名的文件夹以下以/zs为例将/etc/mandb.conf从本地拷贝至/zs本地创建test.txt内容为hello hdfs并从本地剪切到/zs本地创建文件test1.txt内容为hello Hadoop并将test1.txt 追加到test.txt文件末尾从HDFS下载test.txt文件到本地查看/zs文件夹下有哪些文件查看test1.txt的文件内容将test1.txt文件拷贝至/input目录删除/input /test1.txt文件通过命令将/zs/test1.txt文件的副本数改为10在DataNode节点找到HDFS数据的存储位置并将文件/zs/test1.txt本地块删除观察效果导出fsimage与editslog文件观察并解释文件内容 将其复制到IDLExml文件中可以清楚地看到 可见Fsimage中并没有记录块对应的DataNode 这是因为在集群启动之后要求DataNode上报数据块信息并且每隔一段时间再次上报 未完待续 利用HDFS的Java API完成以下操作
1在window中配置API环境下载windows依赖、配置环境变量并测试
2打开IDEA创建Maven工程HDFStest
3在pom.xml文件中添加相关依赖hadoop-client、log4j、junit
4配置log4j.properties文件
5创建HDFSClient类
6编写myMkdirs()函数实现在HDFS端创建目录JAVA_姓名拼音首字母缩写并用单元测试进行测试
7编写myUpload()函数实现将本地文件上传至HDFS并进行单元测试
8编写myDownload()函数将test1.txt文件下载至本地并进行单元测试
9编写myRename()函数实现将test1.txt重命名为 mytest1.txt并进行单元测试
10编写myRm()函数实现将mytest1.txt删除并进行单元测试
11编写myLs()函数获取根目录/下所有文件的详细信息包括权限、拥有者、所属组、文件大小、修改时间等。若存在目录则递归显示目录中的文件
