检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询、协议授权等接口。 用户开通使用LakeFormation服务前,需要提前了解并接受相关的协议与授权。 OBS管理 OBS桶管理接口,包括OBS桶、对象等查询接口。 通过这些接口,您可以获取用于设置元数据的存储路径OBS相关信息。 接入管理 服务接入管理接口,包括获取接入信息,申请接入等接口。
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求
MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog,名称为“default”的数据库。 LakeFormation实例创建成功后,用户可按照业务规划创建相关Catalog及内部的数据库、表等元数据。 例如参考以下步骤,创建Catal
物理资源独占,实例的性能不受其他实例的影响,可根据业务需要选择不同规格的实例。 每秒请求数(QPS) 保证2000每秒请求数。 按照用户创建实例时的选择不同。 功能对比 表2 功能对比 类型 描述 共享型实例 独享型实例 Catalog管理 LakeFormation提供数据湖中Catalog的元数据创建、修改、删除、查看等功能。
示例2:拒绝用户删除数据 拒绝策略需要同时配合其他策略使用,否则没有实际作用。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先原则。 如果您给用户授予Admin的系统策略,但不希望用户拥有删除LakeFormation的Catalog、数据库、表的权限,您可以创
加元数据的分区键,单击“确定”。支持添加多条。 分区键:分区键是一个或多个表列的有序集合。表分区键列中的值用来确定每个表行所属的数据分区。 (可选)单击“表属性”区域中的“添加表属性”。按照需求添加元数据的表属性,单击“确定”。支持添加多条。 表属性:使您能够使用自己的元数据键/值对来标记表定义。
on中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的所有资源。如果您希望进行更加精细的权限控制
提供兼容Ranger的权限接口,一次授权,统一生效。 提供迁移工具,支持存量MRS集群相关元数据的平滑迁移。 数智融合 打通大数据的数据壁垒,实现真正数智融合。 支持数据库、表、函数、模型、非结构化数据集等统一管理。 实现统一的细粒度数据权限管理,支持跨服务/跨集群的数据共享。 大规格高可靠
mation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,选择“元数据 > 函数”。在右上角“Catalog”和“数据库”后的下拉框中分别选择待创建函数的Catalog、数据库的名称。可以查看当前数据库中包含的函数。 单击“创建函数”,配置相关参数。 在“基本信息”区域配置以下信息。
表示选定的天内的执行时间点,范围为0~23;当execute_frequency为HOURLY每小时执行时,该选项值为*,表示每小时都会触发执行。 execute_minute 否 String 元数据发现调度执行的分钟时间点,范围为0~59,表示会在选定的时间点对应的分钟执行。
本入门示例,是为了演示使用LakeFormation的全流程,用户还需提前完成以下准备工作: 已在IAM服务中创建用于授权的IAM业务用户、用户组,用户已关联至用户组。 已在OBS服务中创建一个并行文件系统,并在文件系统中创建用于映射数据表的文件夹。 已创建对接LakeFormation所需的相关委托。例如,如果
表示选定的天内的执行时间点,范围为0~23;当execute_frequency为HOURLY每小时执行时,该选项值为*,表示每小时都会触发执行。 execute_minute 否 String 元数据发现调度执行的分钟时间点,范围为0~59,表示会在选定的时间点对应的分钟执行。
租户token。 表2 请求Body参数 参数 是否必选 参数类型 描述 locations 是 Array of strings 需要取消授权的OBS路径列表 响应参数 状态码: 400 表3 响应Body参数 参数 参数类型 描述 error_code String 错误码。
项表示选定的天内的执行时间点,范围为0~23;当execute_frequency为HOURLY每小时执行时,该选项值为*,表示每小时都会触发执行。 execute_minute String 元数据发现调度执行的分钟时间点,范围为0~59,表示会在选定的时间点对应的分钟执行。 表11
String 租户token。 表2 请求Body参数 参数 是否必选 参数类型 描述 locations 是 Array of strings 需要授权的OBS路径列表 响应参数 状态码: 400 表3 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg
配置Hive对接LakeFormation 修改Hive服务端安装环境的“conf”目录的hive-site.xml文件,添加如下内容(部分参数值根据提示进行替换): <property> <name>hive.metastore.session.client.class</name>
data_statistic_enable 否 Boolean 数据概况统计开关。默认状态为关,若要开启database下table的数据概况统计,需要先打开database的数据概况开关 version_id 否 String 版本ID,可在修改时传入,默认为最新版本 响应参数 状态码: 200
data_statistic_enable 否 Boolean 数据概况统计开关。默认状态为关,若要开启database下table的数据概况统计,需要先打开database的数据概况开关 响应参数 状态码: 201 表4 响应Body参数 参数 参数类型 描述 catalog_name String
JDK,请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保IntelliJ IDEA中的JDK配置为Oracle JDK。 若使用Open JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA
在使用LakeFormation之前,首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。 LakeFormation提供实例的创建、配置、删除等基本功能,帮助您便捷地进行实例管理,加速实现数据湖承载的业务的规划和部署。 已发布区域:以控制台实际上线区域为准。