配置LakeFormation数据连接-华为云

MAPREDUCE服务 MRS-配置LakeFormation数据连接前准备:创建对接ECS/BMS云服务委托

创建对接E CS /BMS云服务委托登录华为云管理控制台，选择“ 统一身份认证服务”。在左侧导航栏选择“委托”，单击右上角的“创建委托”，设置相关参数，单击“下一步”。参数选择如下：委托名称：例如“lakeformation_test” 委托类型：选择“云服务” 云服务：选择“ECS BMS” 持续时间：根据实际情况自定义在选择策略界面右上角单击“新建策略”，配置如下信息，单击“下一步”。策略名称：自定义策略配置方式：选择JSON视图策略内容：配置如下信息 { "Version": "1.1", "Statement": [ { "Action": [ "iam:agencies:assume" ], "Resource": { "uri": [ "/iam/agencies/授予给自身账号具备访问LakeFormation权限的委托ID", "/iam/agencies/授予给自身账号具备访问OBS权限的委托ID" ] }, "Effect": "Allow" } ] } 授予给自身账号具备访问LakeFormation权限的委托ID：可参考6获取。授予给自身账号具备访问OBS权限的委托ID：可参考6获取。选择新创建的自定义委托名称，单击“下一步”。 “设置最小授权范围”根据实际情况选择授权的资源范围，单击“确定”，创建委托完成。

MAPREDUCE服务 MRS 配置LakeFormation数据连接

MAPREDUCE服务 MRS-配置LakeFormation数据连接前准备:创建对接OBS权限的委托

创建对接OBS权限的委托登录华为云管理控制台，选择“统一身份认证服务”。在左侧导航栏选择“委托”，单击右上角的“创建委托”，选择相关参数，单击“下一步”。参数选择如下：委托名称：例如“visit_obs_agency” 委托类型：选择“普通账号” 委托的账号：输入被委托的华为云账号名称持续时间：根据实际情况自定义在选择策略界面右上角单击“新建策略”，配置如下信息，单击“下一步”。策略名称：例如“dev_visit_obs” 策略配置方式：JSON视图策略内容：填入如下信息。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "obs:bucket:GetBucketLocation", "obs:bucket:ListBucketMultipartUploads", "obs:object:GetObject", "obs:object:ModifyObjectMetaData", "obs:object:DeleteObject", "obs:object:ListMultipartUploadParts", "obs:bucket:HeadBucket", "obs:object:AbortMultipartUpload", "obs:bucket:ListBucket", "obs:object:PutObject" ], "Resource": [ "OBS:*:*:bucket:*", "OBS:*:*:object:*" ] } ] } Resource参数中“bucket”的参数值表示OBS桶名称，“object”的参数值表示OBS对象名称，可根据需要指定名称。配置为“*”表示对所有OBS桶或OBS对象适用此策略。其他参数按照实际需求进行配置。勾选新建的策略名称例如“dev_visit_obs”，单击“下一步”。 “设置最小授权范围”根据实际情况选择授权的资源范围，单击“确定”，创建委托。在“委托”页面，将鼠标移动到新创建的委托名称上，获取具备访问OBS权限的委托ID。

MAPREDUCE服务 MRS 配置LakeFormation数据连接

MAPREDUCE服务 MRS-配置LakeFormation数据连接前准备:创建LakeFormation数据连接

创建LakeFormation数据连接创建LakeFormation数据连接的功能，需要联系技术支持申请开通白名单。登录 MRS 控制台，在导航栏选择“数据连接”。单击“新建数据连接 ”。参考表1配置相关参数，单击“确定”完成创建。表1 配置LakeFormation数据连接参数说明类型选择“LakeFormation”，当前仅MRS 3.3.0-LTS及之后版本支持连接该类型。名称数据连接的名称。 LakeFormation实例选择LakeFormation实例名称。该实例需要先在LakeFormation实例创建后在此处引用，具体请参考创建LakeFormation实例。单击“查看LakeFormation实例”查看已创建的实例。虚拟私有云需要与待对接的MRS集群在同一虚拟私有云。子网选择子网名称。 VPC终端节点选择VPC终端节点，或单击“创建对应LakeFormation实例的VPC终端节点”进行创建。选择VPC终端节点后，产生的费用将由VPCEP服务收取。 LakeFormation委托选择“现有委托”，并选择创建对接LakeFormation权限的委托创建的委托，例如“visit_lakeformation_agency”。图3 新建LakeFormation数据连接创建完成后，在“数据连接”页面记录已创建数据连接的ID。

MAPREDUCE服务 MRS 配置LakeFormation数据连接

MAPREDUCE服务 MRS-配置LakeFormation数据连接前准备:创建对接LakeFormation权限的委托

创建对接LakeFormation权限的委托登录华为云管理控制台，选择“统一身份认证服务 IAM ”。在左侧导航栏选择“委托”，单击右上角的“创建委托”，配置相关参数，单击“下一步”。参数配置如下：委托名称：例如“visit_lakeformation_agency” 委托类型：选择“普通账号” 委托的账号：输入被委托的华为云账号名称持续时间：根据实际情况自定义图1 创建委托在选择策略界面右上角单击“新建策略”，配置如下信息，单击“下一步”。策略名称：例如“dev_visit_lakeformation” 策略配置方式：“可视化视图”或“JSON视图” 策略内容：策略中必须包含“lakeformation:policy:export”和“lakeformation:role:describe”。其他参数按照实际需求进行配置。可视化视图：“云服务”选择“ 湖仓构建 ”；“操作”中选择所需操作权限。其他参数按照实际需求进行配置。 JSON视图，例如配置策略内容如下： { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "lakeformation:table:create", "lakeformation:database:alter", "lakeformation:table:alter", "lakeformation:database:drop", "lakeformation:database:create", "lakeformation:role:describe", "lakeformation:policy:create", "lakeformation:policy:export", "lakeformation:function:alter", "lakeformation:function:describe", "lakeformation:table:drop", "lakeformation:catalog:describe", "lakeformation:table:describe", "lakeformation:function:drop", "lakeformation:database:describe", "lakeformation:function:create", "lakeformation:transaction:operate" ] } ] } 勾选新建的策略名称例如“dev_visit_lakeformation”，单击“下一步”。 “设置最小授权范围”根据实际情况选择授权的资源范围，单击“确定”，创建委托。在“委托”页面，将鼠标移动到新创建的委托名称上，获取具备访问LakeFormation权限的委托ID。图2 查看委托ID

MAPREDUCE服务 MRS 配置LakeFormation数据连接

MAPREDUCE服务 MRS-创建集群时配置LakeFormation数据连接:创建集群时配置LakeFormation数据连接

创建集群时配置LakeFormation数据连接进入购买MRS集群页面。单击“购买集群”，进入“购买集群”页面。在购买集群页面，选择“自定义购买”。参考购买自定义拓扑集群进行配置并创建集群，且集群需满足表1中要求。表1 LakeFormation数据连接参数说明参数参数说明版本类型 LTS版集群版本选择配置对接的MRS集群版本。当前仅MRS 3.3.0-LTS及之后版本支持在创建集群时配置LakeFormation数据连接。组件选择必须包含Hadoop、Ranger、Hive、Guardian、Spark（可选）、Flink（可选）等组件。例如，配置如下图所示，不同版本集群可能存在差异，具体界面显示以实际为准。元数据选择“外置数据连接”，并配置以下参数： LakeFormation元数据：单击按钮开启。 LakeFormation连接实例：选择创建LakeFormation数据连接已创建的LakeFormation数据连接名称。数据连接类型：保持默认。例如，配置如下图所示，不同版本集群可能存在差异，具体界面显示以实际为准。虚拟私有云与LakeFormation数据连接所在的虚拟私有云保持一致。子网选择子网名称。拓扑调整选择“开启”，并确认Ranger组件至少添加1个PolicySync（PSC）实例（该实例部署节点需要同时包含RangerAdmin实例）、Guardian组件至少添加2个TokenSever（TS）实例。例如，配置如下图所示，不同版本集群可能存在差异，具体界面显示以实际为准。 Kerberos认证开启委托勾选“高级配置”后的“现在配置”，“委托”选择“现有委托”，并选择创建对接ECS/BMS云服务委托创建的委托。例如，配置如下图所示，不同版本集群可能存在差异，具体界面显示以实际为准。等待集群创建完成后，在“现有集群”页面单击已创建的MRS集群名称，在“概览”页签单击“IAM用户同步”后的“同步”，根据界面提示同步当前用户。参考配置MRS 3.3.0-LTS版本集群配置组件存算分离、下载客户端等操作。

MAPREDUCE服务 MRS 配置LakeFormation数据连接

MAPREDUCE服务 MRS-LakeFormation概述:约束说明

约束说明 MRS对接LakeFormation前，需要注意以下约束限制： MRS集群和LakeFormation实例必须同在一个云账户下且属于同一个Region。 LakeFormation侧创建的接入客户端所在虚拟私有云，必须与MRS集群在同一虚拟私有云下。 MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。 MRS存量集群需要先完成元数据库和权限策略向LakeFormation实例上迁移，再配置对接。如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例，MRS集群之间的Database名称不能重复。 MRS对接LakeFormation后，MRS组件功能约束限制： Hive暂不支持临时表功能。 Hive暂不支持跨集群的列加密表功能。 Hive WebHCat暂不支持对接LakeFormation。 Hive创建内表时如果表目录不为空，则禁止创建表。 Hudi表创建前，需要先在LakeFormation上添加Hudi表目录的路径授权，赋予OBS读写权限。 Hudi表不支持在LakeFormation管理面编辑表的字段，只能通过Hudi客户端增删改表的字段。 Flink读写Hudi场景下同步Hive表，仅支持使用hive_sync.mode=jdbc，不支持hms方式。 Spark使用小权限用户登录客户端创建数据库时，如果用户没有default库的OBS路径权限，将提示缺少权限，实际创建数据库成功。 MRS对接LakeFormation后，权限策略约束限制：通过LakeFormation授权仅支持将LakeFormation角色作为授权主体，不支持IAM用户或IAM用户组作为授权主体。 PolicySync进程不会修改集群内RangerAdmin Hive模块的默认策略，默认策略仍然生效。 PolicySync进程启动后，会与LakeFormation实例的权限进行比对，删除LakeFormation上不存在的非默认策略，请先完成权限策略迁移到LakeFormation实例上。 RangerAdmin WebUI界面的Hive模块，禁止执行添加、删除权限非默认策略的操作，统一在LakeFormation实例的数据权限界面进行授权操作。 MRS集群取消对接LakeFormation后，RangerAdmin的非默认策略不会清理，需要人工进行清理。 Hive暂不支持Grant授权的SQL语句，需统一在LakeFormation实例的数据权限界面进行授权操作。 MRS暂不支持LakeFormation行过滤权限能力。

MAPREDUCE服务 MRS 配置LakeFormation数据连接

MapReduce服务 MRS-配置LakeFormation数据连接操作:创建集群时配置LakeFormation数据连接

创建集群时配置LakeFormation数据连接该操作指导用户在创建MRS集群时配置LakeFormation数据连接。登录MRS管理控制台。单击“购买集群”，进入“购买集群”页面。在购买集群页面，选择“自定义购买”。参考购买自定义拓扑集群进行配置并创建集群，且集群需满足表1中要求。表1 LakeFormation数据连接参数说明参数参数说明版本类型 LTS版集群版本 MRS 3.1.2-LTS.6.Beta 当前仅MRS 3.1.2-LTS.6.Beta版本支持在创建集群时配置LakeFormation数据连接。组件选择必须包含Ranger、Hive、Guardian、Spark2x（可选）等组件。元数据选择“外置数据连接”，并配置以下参数： LakeFormation元数据：单击按钮开启。 LakeFormation连接实例：选择创建LakeFormation数据连接已创建的LakeFormation数据连接名称。数据连接类型：保持默认。虚拟私有云与LakeFormation数据连接所在的虚拟私有云保持一致。子网选择子网名称。拓扑调整选择“开启”，并确认Ranger组件至少添加1个PolicySync（PSC）实例、Guardian组件至少添加2个TokenSever（TS）实例。 Kerberos认证开启委托选择创建对接ECS/BMS云服务委托创建的委托（例如：lakeformation_test）。参考配置MRS集群章节，配置Guardian组件、Hive/Spark2x存算分离、下载客户端等操作。

MapReduce服务 MRS 配置LakeFormation数据连接

云服务器内容精选

配置LakeFormation数据连接

7*24

备案

专业服务

退订

建议反馈

售前咨询热线