检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理数据库 LakeFormation的一个Catalog下可以创建多个数据库,通过集中式的元数据管理,可以有效提升数据资产价值。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 已创建待添加数据库的Catalog。 已参考创建元数据存储路径提前创建了用于存储数据库的OBS并行文件系统。
授权主体 使其具备针对某数据资源的指定访问权限的用户/用户组/角色等身份,如某一用户组、某一角色等。 授权主体类型包括“GROUP”、“ROLE”、“USER”等。 用户(USER):华为云IAM用户 用户组(GROUP):华为云IAM用户组 角色(ROLE):LakeFormation角色
集成权限插件后,如果当前用户(通过自定义用户信息获取类指定)无对应元数据权限,在执行SQL时将抛出异常。 当前用户如果拥有IAM LakeFormation:policy:create权限,且当前用户(可通过自定义用户信息获取类指定)和认证信息(可通过自定义认证信息获取类指定)为统一用户,将跳过SQL鉴权。
指定访问权限的用户组、角色、IAM用户、委托用户等身份,如某一用户组、某一角色等。 授权主体(用户组、角色、IAM用户、委托用户)名称中不能包含中划线(-),否则可能造成操作失败。 授权类型 数据湖中管理的资源: 数据目录(Catalog) 数据库(Database) 数据表(Table)
准备工作 注册华为云账号 配置云服务授权 权限管理
MRS存量集群需要先完成元数据库和权限策略向LakeFormation实例上迁移,再配置对接。 如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例,MRS集群之间的Database名称不能重复。 MRS对接LakeFormation后,MRS组件功能约束限制: Hive暂不支持临时表功能。
管理数据权限 数据权限概述 新增授权 取消授权 查询授权 管理角色
√ 创建角色 √ √ x 删除角色 √ √ x 修改角色 √ √ x 查询角色 √ √ √ 将用户/用户组加入角色 √ √ x 将用户/用户组移除角色 √ √ x 更新角色中的用户/用户组 √ √ x 将元数据权限授权给授权主体 √ √ x 取消授权元数据权限给授权主体 √ √ x
凭证管理接口,包括获取临时密钥和securityToken等接口。 配置管理 配置管理接口,包括获取所有用户可见的租户面配置等接口。 User 用户管理接口,包括获取用户列表、将多个角色授予用户、将一个或者多个角色从用户移除、更新用户中的角色、查询用户的角色列表等接口。
管理函数 用户在数据目录(Catalog)中可对元数据进行管理,按照业务规划创建对应函数。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 已创建待添加函数的数据库及其所属Catalog。 如果配置“函数位置”参数,需已参考创建元数据存储路径提前创建了用于存储函数的OBS并行文件系统。
管理元数据 创建元数据存储路径 管理Catalog 管理数据库 管理数据表 管理函数
管理数据迁移 任务授权 元数据迁移 权限迁移 元数据发现
管理LakeFormation实例 创建LakeFormation实例 配置LakeFormation实例 删除LakeFormation实例
外部服务接入LakeFormation 概述 本文指导用户通过调用API的方式,介绍外部服务对接LakeFormation的完整流程。 本流程假设终端租户已经在Console界面完成LakeFormation的服务授权。API的调用方法请参见如何调用API。 前提条件 已获取以下信息: e
云服务授权操作 使用注册华为云账号创建的用户登录管理控制台。 在服务列表中选择“大数据 > 湖仓构建 LakeFormation”,进入“服务授权”页面。 IAM ReadOnlyAccess:实例运行的过程中需要有获取用户的用户组和用户信息的权限。 OBS OperateAcc
在“角色”页面,选择“操作”列的“添加IAM用户”或“添加委托用户”,选择绑定的角色名称勾选需要绑定的用户,单击“确定”。 也可以在左侧导航栏选择“数据权限 > 用户”,在待绑定角色的用户所在行“操作”列单击“加入角色”,选择绑定的角色名称,单击“确定”。 为该角色授权后,绑定的用户将同时拥有对应的权限。
权限管理 创建用户并授权使用LakeFormation 创建LakeFormation自定义IAM策略 父主题: 准备工作
User 获取用户列表 将多个角色授予用户 将一个或者多个角色从用户移除 更新用户中的角色 查询用户的角色列表 父主题: LakeCat
进行任务管理操作前,需要为当前用户委托访问LakeFormation的相关权限,用于元数据、权限迁移时写入相关数据。 前提条件 已提前参考创建用户并授权使用LakeFormation章节创建用户,并加入admin用户组。 操作步骤 使用加入admin用户组的用户登录管理控制台。 在左上角单击“”,选择“大数据
00012016 给CCE集群设置节点自动扩缩容失败。 联系运维人员。 500 00012017 给CCE集群设置初始化一次性任务失败。 联系运维人员。 500 00012018 等待CCE集群初始化一次性任务失败。 联系运维人员。 500 00012019 给CCE集群设置业务容器失败。 联系运维人员。