正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
首次创建实例时界面显示“立即购买”,如果界面已有LakeFormation实例则显示为“购买实例”。 按照需求配置以下参数。 表1 创建LakeFormation实例参数配置 参数 参数说明 样例 类型 选择实例类型。 共享 独享 独享 区域 选择区域。 不同区域的云服务产品之间内
> Catalog”。 如果当前实例已包含名称为“hive”的Catalog,则跳过Catalog的创建操作。 单击“创建Catalog”,配置以下参数后,单击“提交”。 Catalog名称:hive 固定名称,不可自定义。 选择位置:单击“”,选择存储位置,例如选择“obs://
如果需要对主体授予写权限,可勾选“赋予写权限”。 事件通知策略 (可选)配置该选项后,发生特定事件(例如任务成功、任务失败等)后会发送通知(短信、邮件等)。 事件通知开关:开启后表示启用事件通知。 事件通知主题:选择需要通知的主题,可以在管理控制台选择“消息通知服务 SMN”进行配置。 事件:需要通知的主题状态,可选择“任务成功”、“任务失败”。
管理LakeFormation实例 创建LakeFormation实例 配置LakeFormation实例 删除LakeFormation实例
准备工作 注册华为云账号 配置云服务授权 权限管理
资源准备预计时长,单位分钟。 scale_progress Integer 规格变更进度百分比,只有当实例处于规格变更中状态时才会计算并返回该值。 scale_expected_duration Integer 规格变更预计时长,单位分钟。 in_recycle_bin Boolean 是否在回收站。
单击页面右上角“立即购买”或“购买实例”,进入购买实例页面。 首次创建实例时界面显示“立即购买”,如果界面已有LakeFormation实例则显示为“购买实例”。 按照需求配置以下参数。 表1 购买LakeFormation实例 参数 参数说明 样例 类型 选择实例类型。 共享:共享型实例之间,通过资源复用换取CCE集群或GaussDB(for
LakeCat 函数管理 目录管理 数据库管理 数据表管理 数据表统计 分区管理 分区统计信息 授权管理 用户组管理 元数据统计 角色管理 凭证管理 配置管理 User 元数据事件管理 父主题: API
角色管理接口,包括创建 、获取、修改、删除角色等接口。 凭证管理 凭证管理接口,包括获取临时密钥和securityToken等接口。 配置管理 配置管理接口,包括获取所有用户可见的租户面配置等接口。 User 用户管理管理接口,包括获取用户列表、将多个角色授予用户、将一个或者多个角色从用户移除、更新用户中的角色、查询用户的角色列表等接口。
户的用户组和用户信息的读取,对象存储文件目录的创建/删除等,对象存储标签权限接口的访问。 推荐的安全配置 不涉及。 基础设施安全性 LakeFormation实例运行在跨AZ部署集群,单AZ故障不影响LakeFormation实例的运行。 LakeFormation实例使用跨AZ
LakeFormation针对界面下发的HTTPS请求中IAM Token进行认证,识别出租户、IAM用户等身份。认证失败则拒绝请求。 Console界面其他租户IAM用户切换到本租户的委托角色来访问LakeFormation。 LakeFormation针对界面下发的HTTPS请求中IAM Token进行认证,
资源准备预计时长,单位分钟。 scale_progress Integer 规格变更进度百分比,只有当实例处于规格变更中状态时才会计算并返回该值。 scale_expected_duration Integer 规格变更预计时长,单位分钟。 in_recycle_bin Boolean 是否在回收站。
根据获取的接入IP等信息,完成其他云服务与LakeFormation的对接。 详细操作请参考对应云服务对接LakeFormation的操作指导。例如与MRS对接,则参考配置LakeFormation数据连接章节进行操作。
static void main(String[] args) { // getAk(),getSk()方法需自行实现,可以从配置项或其他位置获取AK/SK // 请勿在代码中硬编码AK/SK String ak = getAk();
MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。 MRS存量集群需要先完成元数据库和权限策略向LakeFormation实例上迁移,再配置对接。 如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例,MRS集群之间的Database名称不能重复。 MRS
获取访问LakeFormation认证信息的权限。 read - - lakeformation:configuration:describe 查询用户配置的权限。 read - - lakeformation:user:alter 修改LakeFormation用户以及关联角色关系的权限。 write
图2 设置输入参数 SDK列表 表1提供了LakeFormation服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档 Java huaweicloud-sdk-java-v3 Java
元数据的参数描述中,1个中文字符对应3个字节。 LakeFormation依赖OBS服务的并行文件系统,OBS需要基于大数据存算分离场景进行分离部署;LakeFormation元数据的存储位置对应OBS路径,与存算分离架构的MRS等大数据集群对接。OBS并行文件系统需要支持AccessLabel特性。
创建LakeFormation实例 规划数据湖 MRS对接LakeFormation实例 03 使用 通过使用LakeFormation可以实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理、元数据与文件目录联动授权、对接多计算引擎等功能。 准备操作 注册华为云帐号 授权用户使用LakeFormation