华为云首页用户手册

MapReduce服务 MRS-配置HDFS通过IAM委托访问OBS:HDFS对接OBS

MapReduce服务 MRS-配置HDFS通过IAM委托访问OBS:HDFS对接OBS

时间：2025-02-12 15:02:37

MapReduce服务 MRS

HDFS对接OBS

以客户端安装用户登录安装了HDFS客户端的节点。
执行以下命令，切换到客户端安装目录。

cd 客户端安装目录
执行以下命令配置环境变量。

source bigdata_env
如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。

kinit 组件业务用户
在hdfs命令行显式添加要访问的OBS文件系统。

例如：
- 使用以下命令访问OBS文件系统。
  hdfs dfs -ls obs://OBS并行文件系统名称/路径
  
  例如，执行以下命令访问“mrs-word001”并行文件系统，返回文件列表即表示访问OBS成功，如图1所示：
  
  hadoop fs -ls obs://mrs-word001/
  图1 Hadoop验证返回文件列表
- 使用以下命令上传客户端节点“/opt/test.txt”文件到OBS文件系统路径下。
  hdfs dfs -put /opt/test.txt obs://OBS并行文件系统名称/路径

OBS文件系统打印大量日志可能导致读写性能受影响，可通过调整OBS客户端日志级别优化，日志调整方式如下：

cd 客户端安装目录/HDFS/hadoop/etc/hadoop

vi log4j.properties

在文件中添加OBS日志级别配置：

log4j.logger.org.apache.hadoop.fs.obs=WARN

log4j.logger.com.obs=WARN

可执行以下命令查看：

tail -4 log4j.properties

图2 查看日志级别

上一篇：MapReduce服务 MRS-MRS 3.1.2-LTS补丁说明:MRS 3.1.2-LTS.0.2补丁基本信息

下一篇：MapReduce服务 MRS-MRS 3.1.2-LTS补丁说明:MRS 3.1.2-LTS.0.2补丁基本信息

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

MapReduce服务 MRS-配置HDFS通过IAM委托访问OBS:HDFS对接OBS

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题