-
管理数据库 - 湖仓构建 LakeFormation
单击“创建数据库”,配置相关参数。 在“基本信息”区域配置以下信息。 表1 创建数据库 参数 参数说明 库名称 填写待创建数据库名称。 只能包含中文、字母、数字、下划线,长度为1~128个字符。 所属Catalog 待创建数据库所属Catalog。
-
管理Catalog - 湖仓构建 LakeFormation
单击“创建Catalog”,配置相关参数。 在“基本信息”区域配置以下信息。 表1 创建Catalog 参数 参数说明 Catalog名称 填写待创建Catalog名称。 只能包含字母、数字和下划线,长度为1~256个字符。
-
元数据迁移 - 湖仓构建 LakeFormation
“数据源类型”为“DLF”时配置该参数。 如果配置的默认Owner没有对应的元数据操作权限,迁移后的元数据将无法进行增删改查等操作,此时可以手动给Owner授权或者进行权限迁移。 如果迁移前所有元数据都能正常使用,则不需要配置该参数。
-
权限迁移 - 湖仓构建 LakeFormation
“权限策略类型”为“DLF”时无需配置该参数。 事件通知策略 (当前该功能为公测阶段) (可选)配置该选项后,发生特定事件(例如任务成功、任务失败等)后会发送通知(短信、邮件等)。 事件通知开关:开启后表示启用事件通知。
-
创建LakeFormation实例及客户端连接 - 湖仓构建 LakeFormation
按照需求配置以下参数。 表1 创建LakeFormation实例参数配置 参数 参数说明 样例 类型 选择实例类型。 共享 独享 独享 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。
-
规划数据湖 - 湖仓构建 LakeFormation
更多授权详细配置及要求请参考新增授权章节。
-
共享型与独享型LakeFormation对比 - 湖仓构建 LakeFormation
√ √ 元数据生命周期管理 LakeFormation支持配置数据的删除策略,节省空间及成本,提升系统的灵活性。 √ √ 元数据权限管理 提供针对元数据的授权、取消、查看等功能。
-
元数据发现 - 湖仓构建 LakeFormation
事件通知策略 (可选)配置该选项后,发生特定事件(例如任务成功、任务失败等)后会发送通知(短信、邮件等)。 事件通知开关:开启后表示启用事件通知。 事件通知主题:选择需要通知的主题,可以在管理控制台选择“消息通知服务 SMN”进行配置。
-
管理LakeFormation实例 - 湖仓构建 LakeFormation
管理LakeFormation实例 创建LakeFormation实例 配置LakeFormation实例 删除LakeFormation实例
-
准备工作 - 湖仓构建 LakeFormation
准备工作 注册华为云账号 配置云服务授权 权限管理
-
新增授权 - 湖仓构建 LakeFormation
单击“授权”,在弹出的窗口中参考下表配置参数后,单击“确定”。 主体类型(用户、用户组、角色)名称中不能包含中划线(-),否则可能造成操作失败。 对单表授权权限策略数量不超过256个。
-
创建LakeFormation实例 - 湖仓构建 LakeFormation
按照需求配置以下参数。 表1 购买LakeFormation实例 参数 参数说明 样例 类型 选择实例类型。 共享:共享型实例之间,通过资源复用换取CCE集群或GaussDB(for MySQL)实例等资源的使用率最大化。
-
LakeCat - 湖仓构建 LakeFormation
LakeCat 函数管理 目录管理 数据库管理 数据表管理 数据表统计 分区管理 分区统计信息 授权管理 用户组管理 元数据统计 角色管理 凭证管理 配置管理 User 元数据事件管理 父主题: API
-
API概览 - 湖仓构建 LakeFormation
配置管理 配置管理接口,包括获取所有用户可见的租户面配置等接口。 User 用户管理管理接口,包括获取用户列表、将多个角色授予用户、将一个或者多个角色从用户移除、更新用户中的角色、查询用户的角色列表等接口。 元数据事件管理 元数据事件管理接口,包括获取元数据事件等接口。
-
资产识别与管理 - 湖仓构建 LakeFormation
推荐的安全配置 不涉及。 基础设施安全性 LakeFormation实例运行在跨AZ部署集群,单AZ故障不影响LakeFormation实例的运行。 LakeFormation实例使用跨AZ高可靠的存储介质来持久化数据,单AZ故障不造成LakeFormation实例的数据丢失。
-
修订记录 - 湖仓构建 LakeFormation
文档内容更新为: 增加变更实例规格,设置默认实例的操作,具体请见配置LakeFormation实例。 2023-04-17 第三次正式发布。文档内容更新为: 新增创建并管理接入客户端操作,具体请见管理接入客户端。 2023-02-07 第二次正式发布。
-
湖仓构建 LakeFormation - 湖仓构建 LakeFormation
LakeFormation提供实例的创建、配置、删除等基本功能,帮助您便捷的进行实例管理,加速实现数据湖承载的业务的规划和部署。 已发布区域:以控制台实际上线区域为准。
-
什么是LakeFormation - 湖仓构建 LakeFormation
元数据管理 LakeFormation提供数据湖元数据Catalog、数据库、数据表等的创建、修改、查看、删除等功能,并支持配置元数据生命周期。
-
管理接入客户端 - 湖仓构建 LakeFormation
例如与MRS对接,则参考配置LakeFormation数据连接章节进行操作。
-
约束与限制 - 湖仓构建 LakeFormation
LakeFormation依赖OBS服务的并行文件系统,OBS需要基于大数据存算分离场景进行分离部署;LakeFormation元数据的存储位置对应OBS路径,与存算分离架构的MRS等大数据集群对接。OBS并行文件系统需要支持AccessLabel特性。