MAPREDUCE服务 MRS-初始化HDFS:代码样例

时间：2024-10-18 17:22:19

MAPREDUCE服务 MRS

代码样例

如下是代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。

在Linux客户端运行应用和在Windows环境下运行应用的初始化代码相同，代码样例如下所示。

 //初始化
confLoad();

 // 创建一个用例
 HdfsExample hdfs_examples = new HdfsExample("/user/hdfs-examples", "test.txt");
 /**
  * 
  * 如果程序运行在Linux上，则需要core-site.xml、hdfs-site.xml的路径修改为在Linux下客户端文件的绝对路径
  *
  * 
  */  
 private static void confLoad() throws IOException {
   conf = new Configuration();
   // conf file
   conf.addResource(new Path(PATH_TO_HDFS_SITE_XML));
   conf.addResource(new Path(PATH_TO_CORE_SITE_XML));
   // conf.addResource(new Path(PATH_TO_SMALL_SITE_XML));
 }

 /**
  *创建用例
  */
 public HdfsExample(String path, String fileName) throws IOException  {
   this.DEST_PATH = path;
   this.FILE_NAME = fileName;
   instanceBuild();
 }
 private void instanceBuild() throws IOException {
   fSystem = FileSystem.get(conf);
 }

（可选）运行此样例代码需要设置运行用户，若需运行Colocation相关操作的样例代码，则此用户需属supergroup用户组。设置运行用户有两种方式，添加环境变量HADOOP_USER_NAME或者修改代码。

添加环境变量HADOOP_USER_NAME：可参考调测HDFS应用。

修改代码：在没有设置HADOOP_USER_NAME的场景下，直接修改代码中的USER。如下所示。

      System.setProperty("HADOOP_USER_NAME", USER);

上一篇：MAPREDUCE服务 MRS-Flink应用开发流程介绍:Flink应用程序开发流程

下一篇：MAPREDUCE服务 MRS-HDFS样例程序开发思路:开发思路

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

MAPREDUCE服务 MRS-初始化HDFS:代码样例

意见反馈

0/200

提交取消

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

MAPREDUCE服务 MRS-初始化HDFS:代码样例

MAPREDUCE服务 MRS-初始化HDFS:代码样例

代码样例

7*24

备案

专业服务

退订

建议反馈

售前咨询热线