云服务器内容精选

华为云首页用户手册

配置MRS集群通过IAM委托对接OBS

MAPREDUCE服务 MRS-配置MRS集群用户的OBS的细粒度访问权限:配置OBS权限控制映射关系

配置OBS权限控制映射关系在 MRS 控制台，选择“现有集群”并单击集群名称。在“概览”页签的基本信息区域，单击“OBS权限控制”右侧的“单击管理”。单击“添加映射”，并参考表1配置相关参数。表1 添加OBS权限控制映射关系参数说明 IAM 委托选择2中创建的委托。类型 User：在用户级别进行映射 Group：用户组级别进行映射说明：用户级别的映射优先级大于用户组级别的映射。若选择Group，建议在“MRS用户（组）”一栏，填写用户的主组名称。请避免同个用户名（组）出现在多个映射记录上。 MRS 用户（组） MRS中的用户（组）的名称，以英文逗号进行分隔。说明：对于没有配置在OBS权限控制的用户，且没有配置AK、SK时，将以MRS_E CS _DEFAULT_AGENCY中的OBS OperateAccess的权限访问OBS。对于组件内置用户不建议绑定在委托中。如需对组件内置用户在以下场景提交作业时配置委托，要求如下：如需对spark-beeline的操作进行权限控制，开启Kerberos认证的集群配置用户名“spark”，未开启Kerberos认证的集群配置用户名“omm”。如需对hbase shell的操作进行权限控制，开启Kerberos认证的集群配置用户名“hbase”，未开启Kerberos认证的集群配置用户名“omm”。如需对Presto的操作进行权限控制，开启Kerberos认证的集群配置用户名“omm”、“hive”和登录客户端的用户名，未开启Kerberos认证的集群配置用户名“omm”和登录客户端的用户名。如需使用Hive在beeline模式下创建表时，配置内置用户“hive”。单击“确定”。勾选“我同意授权MRS用户（组）与IAM委托之间的信任关系。”，并单击“确定”，完成MRS用户与OBS权限的映射关系。当集群详情页面“概览”页签的“OBS权限控制”后出现或OBS权限控制的映射表已刷新，表示映射生效（过程大约需要1分钟）。在关系列表的“操作”列可以对已添加的关系进行编辑和删除。对于没有配置在OBS权限控制的用户，且没有配置AK、SK时，将以集群配置的委托在“ 对象存储服务 ”项目下所拥有的权限访问OBS。无论用户是否配置OBS权限控制，只要配置AK、SK时，将以AK、SK的权限访问OBS。映射关系的修改、创建、删除需要用户有Security Administrator权限。修改映射关系后，若想使之在spark-beeline中生效，需要重启Spark服务，若想使之在Hive beeline中生效，需要退出beeline重新进入，若想使之在Presto服务中生效，需要重启Presto服务。

MAPREDUCE服务 MRS 配置MRS集群通过IAM委托对接OBS
MAPREDUCE服务 MRS-配置MRS集群用户的OBS的细粒度访问权限:在开启OBS权限控制功能时各组件访问OBS的说明

在开启OBS权限控制功能时各组件访问OBS的说明以root用户登录集群任意一个节点，密码为用户创建集群时设置的root密码。配置环境变量： cd 客户端安装目录 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit MRS集群用户例如: kinit admin 如果当前集群未启用Kerberos认证，执行如下命令登录执行操作的用户，该用户需要属于supergroup组，创建用户可参考创建MRS集群用户，将XXXX替换成用户名。 mkdir /home/XXXX chown XXXX /home/XXXX su - XXXX 访问OBS，无需再配置AK、SK和Endpoint。 OBS路径格式：obs://OBS并行文件系统名称/XXX hadoop fs -ls "obs://obs-example/job/hadoop-mapreduce-examples-3.1.2.jarobs-example/job/hadoop-mapreduce-examples-3.1.2.jar" 如需使用hadoop fs删除OBS上文件，请使用hadoop fs -rm -skipTrash来删除文件。 spark-sql、spark-beeline在创建表时，若不涉及数据导入，则不会访问OBS。即若在一个无权限的OBS目录下创建表，CREATE TABLE仍会成功，但插入数据会报403 AccessDeniedException。

MAPREDUCE服务 MRS 配置MRS集群通过IAM委托对接OBS
MAPREDUCE服务 MRS-配置MRS集群用户的OBS的细粒度访问权限:给集群配置有OBS访问权限的委托

给集群配置有OBS访问权限的委托请参考配置MRS集群通过IAM委托对接OBS配置OBS访问权限的委托。配置的委托对该集群上所有用户（包括内置用户）及用户组生效，如需对集群上的用户及用户组访问OBS的权限进行控制请继续执行后续步骤。配置OBS路径权限时，如果配置了写权限，需要同步配置对应的回收站路径。默认回收站路径为“/user/${current.user}/.Trash/”，${current.user}表示当前使用的用户名。

MAPREDUCE服务 MRS 配置MRS集群通过IAM委托对接OBS
MAPREDUCE服务 MRS-配置MRS集群通过IAM委托对接OBS:创建存算分离集群

创建存算分离集群配置存算分离支持在新建集群中配置委托实现，也可以通过为已有集群绑定委托实现。本示例以开启Kerberos认证的集群为例介绍。新创建存算分离集群：进入购买MRS集群页面。单击“购买集群”，进入“购买集群”页面。在购买集群页面，选择“自定义购买”页签。在“自定义购买”页签，配置以下参数。基础配置：计费模式：选择“按需计费”。区域：请根据需要选择区域。集群配置：集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。集群类型：选择“自定义”。版本类型：选择“LTS版”或“普通版”。集群版本：请根据实际需求选择集群版本，例如：MRS 3.2.0-LTS.1。组件选择：请根据业务需求合理选择需要的组件，部分类型集群创建后不支持添加服务。元数据：选择“本地元数据”。网络配置：可用区：默认即可。虚拟私有云：默认即可。子网：默认即可。安全组：默认即可。弹性公网IP：默认即可。节点配置： CPU架构：默认即可。MRS 3.1.0及MRS 3.1.5版本无该参数。常用模板：当“集群类型”选择“自定义”时该参数有效，保持默认即可。集群节点：请根据自身需求选择节点规格和数量。登录凭证： Kerberos认证：请根据自身需要选择，如果创建的集群中包含Presto组件，则不支持开启Kerberos认证。用户名：默认为“admin”，用于登录集群管理页面。密码/确认密码：设置admin用户密码，该密码请妥善保管。登录方式：选择登录ECS节点的登录方式，本例选择“密码”方式。用户名：默认为“root”，用于远程登录ECS机器。密码/确认密码：设置root用户密码。高级配置：开启高级配置，并设置“委托”：单击“现有委托”，在下拉框中选择创建具有访问OBS权限的ECS委托创建的委托。直接选择MRS在IAM服务中预置的委托“MRS_ECS_DEFAULT_AGENCY”。企业项目：默认即可。通信安全授权：勾选通信安全授权，详细介绍请参见配置MRS集群安全通信授权。单击“立即购买”。等待集群创建成功。当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。为已有集群配置存算分离功能：登录MRS控制台，在导航栏选择“现有集群”。单击集群名称，进入集群详情页面。在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步。在集群详情页的“概览”页签，单击委托右侧的“管理委托”选择需要绑定的委托并单击“确定”进行绑定，或单击“新建委托”进入IAM控制台进行创建后再在此处进行绑定。图3 绑定委托

MAPREDUCE服务 MRS 配置MRS集群通过IAM委托对接OBS