云服务器内容精选

华为云首页用户手册

MRS对接LakeFormation云服务

MAPREDUCE服务 MRS-创建集群时配置LakeFormation数据连接:创建集群时配置LakeFormation数据连接

创建集群时配置LakeFormation数据连接进入购买 MRS 集群页面。单击“购买集群”，进入“购买集群”页面。在购买集群页面，选择“自定义购买”。参考购买自定义拓扑集群进行配置并创建集群，且集群需满足表1中要求。表1 LakeFormation数据连接参数说明参数参数说明版本类型 LTS版集群版本选择配置对接的MRS集群版本。当前仅MRS 3.3.0-LTS及之后版本支持在创建集群时配置LakeFormation数据连接。组件选择必须包含Hadoop、Ranger、Hive、Guardian、Spark（可选）、Flink（可选）等组件。例如，配置如下图所示，不同版本集群可能存在差异，具体界面显示以实际为准。元数据选择“外置数据连接”，并配置以下参数： LakeFormation元数据：单击按钮开启。 LakeFormation连接实例：选择创建LakeFormation数据连接已创建的LakeFormation数据连接名称。数据连接类型：保持默认。例如，配置如下图所示，不同版本集群可能存在差异，具体界面显示以实际为准。虚拟私有云与LakeFormation数据连接所在的虚拟私有云保持一致。子网选择子网名称。拓扑调整选择“开启”，并确认Ranger组件至少添加1个PolicySync（PSC）实例（该实例部署节点需要同时包含RangerAdmin实例）、Guardian组件至少添加2个TokenSever（TS）实例。例如，配置如下图所示，不同版本集群可能存在差异，具体界面显示以实际为准。 Kerberos认证开启委托勾选“高级配置”后的“现在配置”，“委托”选择“现有委托”，并选择创建对接E CS /BMS云服务委托创建的委托。例如，配置如下图所示，不同版本集群可能存在差异，具体界面显示以实际为准。等待集群创建完成后，在“现有集群”页面单击已创建的MRS集群名称，在“概览”页签单击“ IAM 用户同步”后的“同步”，根据界面提示同步当前用户。参考配置MRS 3.3.0-LTS版本集群配置组件存算分离、下载客户端等操作。

MAPREDUCE服务 MRS MRS对接LakeFormation云服务
MAPREDUCE服务 MRS-LakeFormation服务概述:约束说明

约束说明 MRS对接LakeFormation前，需要注意以下约束限制： MRS集群和LakeFormation实例必须同在一个云账户下且属于同一个Region。 LakeFormation侧创建的接入客户端所在虚拟私有云，必须与MRS集群在同一虚拟私有云下。 MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。 MRS存量集群需要先完成元数据库和权限策略向LakeFormation实例上迁移，再配置对接。如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例，MRS集群之间的Database名称不能重复。 MRS对接LakeFormation后，MRS组件功能约束限制： Hive暂不支持临时表功能。 Hive暂不支持跨集群的列加密表功能。 Hive WebHCat暂不支持对接LakeFormation。 Hive创建内表时如果表目录不为空，则禁止创建表。 Hudi表创建前，需要先在LakeFormation上添加Hudi表目录的路径授权，赋予OBS读写权限。 Hudi表不支持在LakeFormation管理面编辑表的字段，只能通过Hudi客户端增删改表的字段。 Flink读写Hudi场景下同步Hive表，仅支持使用hive_sync.mode=jdbc，不支持hms方式。 Spark使用小权限用户登录客户端创建数据库时，如果用户没有default库的OBS路径权限，将提示缺少权限，实际创建数据库成功。 MRS对接LakeFormation后，权限策略约束限制：通过LakeFormation授权仅支持将LakeFormation角色作为授权主体，不支持IAM用户或IAM用户组作为授权主体。 PolicySync进程不会修改集群内RangerAdmin Hive模块的默认策略，默认策略仍然生效。 PolicySync进程启动后，会与LakeFormation实例的权限进行比对，删除LakeFormation上不存在的非默认策略，请先完成权限策略迁移到LakeFormation实例上。 RangerAdmin WebUI界面的Hive模块，禁止执行添加、删除权限非默认策略的操作，统一在LakeFormation实例的数据权限界面进行授权操作。 MRS集群取消对接LakeFormation后，RangerAdmin的非默认策略不会清理，需要人工进行清理。 Hive暂不支持Grant授权的SQL语句，需统一在LakeFormation实例的数据权限界面进行授权操作。 MRS暂不支持LakeFormation行过滤权限能力。

MAPREDUCE服务 MRS MRS对接LakeFormation云服务