正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在右上角“Catalog”后的下拉框中选择待创建数据库所属的Catalog名称。可以查看当前Catalog中包含的数据库。 单击“创建数据库”,配置相关参数。 在“基本信息”区域配置以下信息。 表1 创建数据库 参数 参数说明 库名称 填写待创建数据库名称。 只能包含中文、字母、数字、下划线,长度为1~128个字符。
IP。 此外还需配置以下参数: 用户名:访问数据源所使用的用户。 密码:访问数据源所使用的用户密码。 如果所使用用户存在密码,则必须填写;如果用户无密码,则为空即可。 服务接入点 配置待迁移元数据服务接入点。 “数据源类型”为“DLF”时配置该参数。此外还需配置以下参数: Access
在左侧下拉框中选择待操作的LakeFormation实例,在左侧导航栏选择“元数据 > Catalog”。 单击“创建Catalog”,配置相关参数。 在“基本信息”区域配置以下信息。 表1 创建Catalog 参数 参数说明 Catalog名称 填写待创建Catalog名称。 只能包含字母、数字和下划线,长度为1~256个字符。
填写权限来源的Catalog名称。 “权限策略类型”选择“DLF”时配置该参数。 Ranger授权主体转换关系 手动指定对应的权限策略的授权主体的转换关系,前、后缀值会为最终授权主体名称添加对应的前缀、后缀。 需要分别配置“用户转换对象”、“用户组转换对象”、“角色转换对象”,及其“前
首次创建实例时界面显示“立即购买”,如果界面已有LakeFormation实例则显示为“购买实例”。 按照需求配置以下参数。 表1 创建LakeFormation实例参数配置 参数 参数说明 样例 类型 选择实例类型。 共享 独享 独享 区域 选择区域。 不同区域的云服务产品之间内
计费对比 共享型与独享型实例的计费项及计费说明详细介绍请参考计费说明章节中表1。 性能对比 表1 性能对比 类型 共享型实例 独享型实例 部署模式 物理资源共享,实例间逻辑隔离。 物理资源独占,实例的性能不受其它实例的影响,可根据业务需要选择不同规格的实例。 每秒请求数(QPS)
如果需要对主体授予写权限,可勾选“赋予写权限”。 事件通知策略 (可选)配置该选项后,发生特定事件(例如任务成功、任务失败等)后会发送通知(短信、邮件等)。 事件通知开关:开启后表示启用事件通知。 事件通知主题:选择需要通知的主题,可以在管理控制台选择“消息通知服务 SMN”进行配置。 事件:需要通知的主题状态,可选择“任务成功”、“任务失败”。
> Catalog”。 如果当前实例已包含名称为“hive”的Catalog,则跳过Catalog的创建操作。 单击“创建Catalog”,配置以下参数后,单击“提交”。 Catalog名称:hive 固定名称,不可自定义。 选择位置:单击“”,选择存储位置,例如选择“obs://
控制台。 在左侧下拉框中选择待操作的LakeFormation实例,选择“数据权限 > 数据授权”。 单击“授权”,在弹出的窗口中参考下表配置参数后,单击“确定”。 主体类型(用户组、角色、IAM用户、委托用户)名称中不能包含中划线(-),否则可能造成操作失败。 对单表授权权限策略数量不超过256个。
准备工作 注册华为云账号 配置云服务授权 权限管理
管理LakeFormation实例 创建LakeFormation实例 配置LakeFormation实例 删除LakeFormation实例
单击页面右上角“立即购买”或“购买实例”,进入购买实例页面。 首次创建实例时界面显示“立即购买”,如果界面已有LakeFormation实例则显示为“购买实例”。 按照需求配置以下参数。 表1 购买LakeFormation实例 参数 参数说明 样例 类型 选择实例类型。 共享:共享型实例之间,通过资源复用换取CCE集群或GaussDB(for
自动续订,默认该方式。 is_auto_pay 否 Boolean charge_mode为prePaid时生效,且为必选值,表示是否自动从客户的账户中支付,此字段不影响自动续订的支付方式。true:为自动支付。false:为手动支付,默认该方式。 响应参数 状态码: 202 表7
LakeCat 函数管理 目录管理 数据库管理 数据表管理 数据表统计 分区管理 分区统计信息 授权管理 用户组管理 元数据统计 角色管理 凭证管理 配置管理 User 元数据事件管理 父主题: API
户的用户组和用户信息的读取,对象存储文件目录的创建/删除等,对象存储标签权限接口的访问。 推荐的安全配置 不涉及。 基础设施安全性 LakeFormation实例运行在跨AZ部署集群,单AZ故障不影响LakeFormation实例的运行。 LakeFormation实例使用跨AZ
实例进行的。 LakeFormation提供实例的创建、配置、删除等基本功能,帮助您便捷的进行实例管理,加速实现数据湖承载的业务的规划和部署。 已发布区域:以控制台实际上线区域为准。 创建LakeFormation实例 配置LakeFormation实例 元数据管理 数据目录(Catalog)
根据获取的接入IP等信息,完成其他云服务与LakeFormation的对接。 详细操作请参考对应云服务对接LakeFormation的操作指导。例如与MRS对接,则参考配置LakeFormation数据连接章节进行操作。
元数据的参数描述中,1个中文字符对应3个字节。 LakeFormation依赖OBS服务的并行文件系统,OBS需要基于大数据存算分离场景进行分离部署;LakeFormation元数据的存储位置对应OBS路径,与存算分离架构的MRS等大数据集群对接。OBS并行文件系统需要支持AccessLabel特性。
创建LakeFormation实例 规划数据湖 MRS对接LakeFormation实例 03 使用 通过使用LakeFormation可以实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理、元数据与文件目录联动授权、对接多计算引擎等功能。 准备操作 注册华为云帐号 授权用户使用LakeFormation
MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。 MRS存量集群需要先完成元数据库和权限策略向LakeFormation实例上迁移,再配置对接。 如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例,MRS集群之间的Database名称不能重复。 MRS