华为云首页用户手册

MAPREDUCE服务 MRS-配置Yarn通过Guardian访问OBS:对接OBS

时间：2024-10-22 09:12:43

MAPREDUCE服务 MRS MRS集群服务对接OBS示例

对接OBS

以客户端安装用户登录安装了Yarn客户端的节点。
执行以下命令，切换到客户端安装目录。

cd 客户端安装目录
执行以下命令配置环境变量。

source bigdata_env
如果集群为安全模式，执行以下命令进行用户认证，该用户需具有OBS目录的读写权限。普通模式集群无需执行用户认证。

kinit HDFS组件操作用户
在Yarn命令行显式添加要访问的OBS文件系统。
- 使用以下命令访问OBS文件系统。
  hdfs dfs -ls obs://OBS并行文件系统名称/路径
- 使用以下命令创建OBS文件系统下的目录：
  hdfs dfs -mkdir obs://OBS并行文件系统名称/hadoop1
- 执行以下Yarn任务访问OBS：
  yarn jar 客户端安装目录/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi -Dmapreduce.job.hdfs-servers=NAMESERVICE -fs obs://OBS并行文件系统名称 1 1
其中“NAMESERVICE”为HDFS文件系统中的NameService，默认为“hdfs://hacluster”，如有多个NameService，以“,”分割。

例如：

yarn jar /opt/hadoopclient/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi -Dmapreduce.job.hdfs-servers=hdfs://hacluster -fs obs://bucketname 1 1
- 执行以下命令写入数据到OBS：
  yarn jar 客户端安装目录/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar teragen 100 obs://OBS并行文件系统名称/hadoop1/teragen1
- 执行以下命令将OBS下的数据复制到HDFS：
  hadoop distcp obs://OBS并行文件系统名称/hadoop1/teragen1 /tmp