检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Java SDK开发程序前,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 安装Java和JDK环境 已安装Java环境,Java版本要求使用JDK1.8或更高版本。 安装和配置IntelliJ IDEA 用于开发应用程序的工具,版本要求:2019.1或其他兼容版本。
IP。 此外还需配置以下参数: 用户名:访问数据源所使用的用户。 密码:访问数据源所使用的用户密码。 如果所使用用户存在密码,则必须填写;如果用户无密码,则为空即可。 服务接入点 配置待迁移元数据服务接入点。 “数据源类型”为“DLF”时配置该参数。此外还需配置以下参数: Access
在左侧下拉框中选择待操作的LakeFormation实例,在左侧导航栏选择“元数据 > Catalog”。 单击“创建Catalog”,配置相关参数。 在“基本信息”区域配置以下信息。 表1 创建Catalog 参数 参数说明 Catalog名称 填写待创建Catalog名称。 只能包含字母、数字和下划线,长度为1~256个字符。
填写权限来源的Catalog名称。 “权限策略类型”选择“DLF”时配置该参数。 授权主体转换关系 手动指定对应的权限策略的授权主体的转换关系,前、后缀值会为最终授权主体名称添加对应的前缀、后缀。 需要分别配置“用户转换对象”、“用户组转换对象”、“角色转换对象”,及其“前缀”和
如果需要修改行过滤条件,单击“操作”列中的“更多”按钮,单击“编辑行过滤条件”。仅配置了行过滤条件时支持操作。 如果需要修改列脱敏配置,单击“操作”列中的“更多”按钮,单击“编辑列脱敏参数”。仅配置了列脱敏时支持操作。 为指定资源添加授权 用户可基于数据湖资源视角,为指定的某个资源(数据库、表)添加授权。
如果需要对主体授予写权限,可勾选“赋予写权限”。 事件通知策略 (可选)配置该选项后,发生特定事件(例如任务成功、任务失败等)后会发送通知(短信、邮件等)。 事件通知开关:开启后表示启用事件通知。 事件通知主题:选择需要通知的主题,可以在管理控制台选择“消息通知服务 SMN”进行配置。 事件:需要通知的主题状态,可选择“任务成功”、“任务失败”。
首次创建实例时界面显示“立即购买”,如果界面已有LakeFormation实例则显示为“购买实例”。 按照需求配置以下参数。 表1 创建LakeFormation实例参数配置 参数 参数说明 样例 类型 选择实例类型。 共享 独享 独享 区域 选择区域。 不同区域的云服务产品之间内
> Catalog”。 如果当前实例已包含名称为“hive”的Catalog,则跳过Catalog的创建操作。 单击“创建Catalog”,配置以下参数后,单击“提交”。 Catalog名称:hive 固定名称,不可自定义。 选择位置:单击“”,选择存储位置,例如选择“obs://
准备工作 注册华为云账号 配置云服务授权 权限管理
管理LakeFormation实例 创建LakeFormation实例 配置LakeFormation实例 删除LakeFormation实例
单击页面右上角“立即购买”或“购买实例”,进入购买实例页面。 首次创建实例时界面显示“立即购买”,如果界面已有LakeFormation实例则显示为“购买实例”。 按照需求配置以下参数。 表1 购买LakeFormation实例 参数 参数说明 样例 类型 选择实例类型。 共享:共享型实例之间,通过资源复用换取CCE集群或GaussDB(for
LakeCat 函数管理 目录管理 数据库管理 数据表管理 数据表统计 分区管理 分区统计信息 授权管理 用户组管理 元数据统计 角色管理 凭证管理 配置管理 User 元数据事件管理 父主题: API
角色管理接口,包括创建 、获取、修改、删除角色等接口。 凭证管理 凭证管理接口,包括获取临时密钥和securityToken等接口。 配置管理 配置管理接口,包括获取所有用户可见的租户面配置等接口。 User 用户管理接口,包括获取用户列表、将多个角色授予用户、将一个或者多个角色从用户移除、更新用户中的角色、查询用户的角色列表等接口。
户的用户组和用户信息的读取,对象存储文件目录的创建/删除等,对象存储标签权限接口的访问。 推荐的安全配置 不涉及。 基础设施安全性 LakeFormation实例运行在跨AZ部署集群,单AZ故障不影响LakeFormation实例的运行。 LakeFormation实例使用跨AZ
实例进行的。 LakeFormation提供实例的创建、配置、删除等基本功能,帮助您便捷地进行实例管理,加速实现数据湖承载的业务的规划和部署。 已发布区域:以控制台实际上线区域为准。 创建LakeFormation实例 配置LakeFormation实例 元数据管理 数据目录(Catalog)
计费对比 共享型与独享型实例的计费项及计费说明详细介绍请参考计费说明章节中表1。 性能对比 表1 性能对比 类型 共享型实例 独享型实例 部署模式 物理资源共享,实例间逻辑隔离。 物理资源独占,实例的性能不受其他实例的影响,可根据业务需要选择不同规格的实例。 每秒请求数(QPS)
根据获取的接入IP等信息,完成其他云服务与LakeFormation的对接。 详细操作请参考对应云服务对接LakeFormation的操作指导。例如与MRS对接,则参考配置LakeFormation数据连接章节进行操作。
除等基本功能,帮助您便捷地进行实例管理,加速实现数据湖承载的业务的规划和部署。 元数据管理 LakeFormation提供数据湖元数据Catalog、数据库、数据表等的创建、修改、查看、删除等功能,并支持配置元数据生命周期。帮助您便捷地进行数据湖初始化构建以及持续运营,集中式的统
static void main(String[] args) { // getAk(),getSk()方法需自行实现,可以从配置项或其他位置获取AK/SK // 请勿在代码中硬编码AK/SK String ak = getAk();
MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。 MRS存量集群需要先完成元数据库和权限策略向LakeFormation实例上迁移,再配置对接。 如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例,MRS集群之间的Database名称不能重复。 MRS