MAPREDUCE服务 MRS-配置MRS集群用户的OBS的细粒度访问权限:在开启OBS权限控制功能时各组件访问OBS的说明

时间:2024-09-25 18:27:40

在开启OBS权限控制功能时各组件访问OBS的说明

  1. root用户登录集群任意一个节点,密码为用户创建集群时设置的root密码。
  2. 配置环境变量:

    cd 客户端安装目录

    source 客户端安装目录/bigdata_env

  3. 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。

    kinit MRS 集群用户

    例如:

    kinit admin

  4. 如果当前集群未启用Kerberos认证,执行如下命令登录执行操作的用户,该用户需要属于supergroup组,创建用户可参考创建MRS集群用户,将XXXX替换成用户名。

    mkdir /home/XXXX

    chown XXXX /home/XXXX

    su - XXXX

  5. 访问OBS,无需再配置AK、SK和Endpoint。

    OBS路径格式:obs://OBS并行文件系统名称/XXX

    hadoop fs -ls "obs://obs-example/job/hadoop-mapreduce-examples-3.1.2.jarobs-example/job/hadoop-mapreduce-examples-3.1.2.jar"

    • 如需使用hadoop fs删除OBS上文件,请使用hadoop fs -rm -skipTrash来删除文件。
    • spark-sql、spark-beeline在创建表时,若不涉及数据导入,则不会访问OBS。即若在一个无权限的OBS目录下创建表,CREATE TABLE仍会成功,但插入数据会报403 AccessDeniedException。

support.huaweicloud.com/usermanual-mrs/mrs_01_0632.html