检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
建。 必须与所属的Catalog存储路径(即创建Catalog时配置的“选择位置”参数)不同。 如果所属Catalog配置了“数据库存储位置”参数,则此处该参数必须选择为所属Catalog“选择位置”的子路径、或“数据库存储位置”的子路径。 描述 所创建数据库的描述信息。 长度为
实例创建成功后,可以查看实例的基本信息及数据概况。 实例创建失败 如果实例创建失败,失败任务会自动转入“创建失败的实例”页面。 选择“大数据 > 湖仓构建 LakeFormation”,在“总览”页面单击左上方“创建失败的实例”,在打开的窗口中查看创建失败的实例信息。 父主题: 管理LakeFormation实例
请检查相关权限,先授权再请求。 400 00010039 输入的用户或租户信息错误。 请输入正确的用户或租户信息。 400 00010040 输入的配置名称错误。 请输入正确的配置名,检查该配置是否为系统级配置。 400 00010041 VPC冲突,相同VPC下无法重复创建接入客户端。 请选择其他VPC创建接入客户端。
创建完成后,单击“操作”列的“运行”即可运行当前迁移任务。 单击“停止”即可停止正在运行的任务。 单击“查看日志”可以查看任务运行产生的日志。 默认显示最近的50行日志。 可单击日志最下方超链接查看完整日志,具体配置请参考下载对象章节。 单击操作列的“编辑”或“删除”,可以修改或者删除当前任务。
“数据库存储位置”为可选参数。如果配置了该参数,则该Catalog下的数据库位置必须选择为该Catalog“数据库存储位置”的子路径、或该Catalog“选择位置”的子路径。 单击“提交”。 创建完成后,即可在“Catalog”页面查看Catalog相关信息。 单击“操作”列的“编辑”可以修改Catalog配置信息。
日志存储位置 运行迁移任务时,产生的日志存储位置。 权限策略文件存储位置 待迁移的权限策略文件在OBS并行文件系统中的存储位置。 权限策略文件名 待迁移权限策略的文件名称。 Catalog ID 填写权限来源的Catalog名称。 “权限策略类型”选择“DLF”时配置该参数。 授权主体转换关系
在使用LakeFormation之前,首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。 LakeFormation提供实例的创建、配置、删除等基本功能,帮助您便捷地进行实例管理,加速实现数据湖承载的业务的规划和部署。 已发布区域:以控制台实际上线区域为准。
函数”,在右上角“Catalog”和“数据库”后的下拉框中分别选择待授权函数所属的Catalog、数据库的名称,单击待操作函数“操作”列的“授权”。 参考表1配置相关信息后,单击“确定”。 在“数据权限 > 数据授权”界面即可查看已授权的相关信息。 授权完成后,所选用户组中的用户、或拥有所选角色的用户或者用户组即可对当前数据库进行相关操作。
MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog,名称为“default”的数据库。 LakeFormation实例创建成功后,用户可按照业务规划创建相关Catalog及内部的数据库、表等元数据。 例如参考以下步骤,创建Catal
按照需求配置以下参数。 表1 创建LakeFormation实例参数配置 参数 参数说明 样例 类型 选择实例类型。 共享 独享 独享 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 xxx 计费模式 实例的计费模式。
配置管理接口,包括获取所有用户可见的租户面配置等接口。 User 用户管理接口,包括获取用户列表、将多个角色授予用户、将一个或者多个角色从用户移除、更新用户中的角色、查询用户的角色列表等接口。
LakeFormation云服务需要访问的租户资源包括:租户的用户组和用户信息的读取,对象存储文件目录的创建/删除等,对象存储标签权限接口的访问。 推荐的安全配置 不涉及。 基础设施安全性 LakeFormation实例运行在跨AZ部署集群,单AZ故障不影响LakeFormation实例的运行。 Lake
项表示选定的天内的执行时间点,范围为0~23;当execute_frequency为HOURLY每小时执行时,该选项值为*,表示每小时都会触发执行。 execute_minute String 元数据发现调度执行的分钟时间点,范围为0~59,表示会在选定的时间点对应的分钟执行。 表11
表示选定的天内的执行时间点,范围为0~23;当execute_frequency为HOURLY每小时执行时,该选项值为*,表示每小时都会触发执行。 execute_minute 否 String 元数据发现调度执行的分钟时间点,范围为0~59,表示会在选定的时间点对应的分钟执行。
表示选定的天内的执行时间点,范围为0~23;当execute_frequency为HOURLY每小时执行时,该选项值为*,表示每小时都会触发执行。 execute_minute 否 String 元数据发现调度执行的分钟时间点,范围为0~59,表示会在选定的时间点对应的分钟执行。
WebUI界面的Hive模块,禁止执行添加、删除权限非默认策略的操作,统一在LakeFormation实例的数据权限界面进行授权操作。 RangerAdmin WebUI界面的OBS模块,禁止执行添加、删除权限非默认策略的操作,统一在LakeFormation实例的数据权限界面进行OBS路径授权操作。
√ √ 元数据生命周期管理 LakeFormation支持配置数据的删除策略,节省空间及成本,提升系统的灵活性。 √ √ 元数据权限管理 提供针对元数据的授权、取消、查看等功能。 √ √ 元数据迁移管理 支持将外部服务的元数据全量或增量迁移至当前LakeFormation实例中,对元数据进行统一管理。
在左侧下拉框中选择待操作的LakeFormation实例,在左侧导航栏选择“接入管理”。 单击“创建客户端”,在弹出的窗口中填写以下参数后,单击“确定”。 如果没有合适的虚拟私有云或子网,可以单击“前往VPC创建”。 表1 创建接入管理客户端参数 参数 说明 客户端名称 自定义接入客户端的名称。 虚拟私有云
管理LakeFormation实例 创建LakeFormation实例 配置LakeFormation实例 删除LakeFormation实例
创建元数据存储路径 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击,选择“存储