检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
列举全量分区值列表 功能介绍 遍历分区名称列表信息,返回全量的数据。 对于事务表,支持基于表的特定版本遍历分区名称列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI
SDK概述 本文介绍了LakeFormation服务提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explorer中具体API页面的“代码示
3.1.1,则需使用Hive 2.3.7版本。对接的环境为Spark 3.3.1,则需使用Hive 2.3.9版本。 Windows系统下需要在WSL开发环境下进行maven相关操作。 根据Hive版本下载Hive源码。 例如Hive内核版本号为2.3.9,则下载链接为https://github
MRS对接LakeFormation实例 当前仅MRS 3.3.0-LTS版本集群支持对接LakeFormation。 MRS对接LakeFormation实例,相关操作请参考配置MRS 3.3.0-LTS版本集群对接LakeFormation章节。
根据Hive版本下载对应客户端(Hive版本为2.3.9,则下载hive-exec-2.3.9.jar、hive-common-2.3.9.jar) 方式二:本地编译Hive相关jar包 Windows系统下需要在WSL开发环境下进行maven相关操作。 根据Hive版本下载Hive源码。
提供兼容Hive/Spark/Flink/Trino社区的元数据接口,支持计算引擎平滑对接。 提供兼容Ranger的权限接口,一次授权,统一生效。 提供迁移工具,支持存量MRS集群相关元数据的平滑迁移。 数智融合 打通大数据的数据壁垒,实现真正数智融合。 支持数据库、表、函数、模型、非结构化数据集等统一管理。
> 样例工程名称 > Lifecycle > install”,双击“install”运行maven的install命令。 图1 maven工具clean和install 使用maven命令打包后,执行以下命令将jar包上传到接入LakeFormation客户端所在节点。 java
开发环境 准备项 说明 安装Java和JDK环境 已安装Java环境,Java版本要求使用JDK1.8或更高版本。 安装和配置IntelliJ IDEA 用于开发应用程序的工具,版本要求:2019.1或其他兼容版本。 说明: 若使用IBM JDK,请确保IntelliJ IDEA中的JDK配置为IBM
约束与限制 建议使用推荐的浏览器登录LakeFormation管理界面: Chrome:94.0及更高版本。 Edge:随Windows操作系统更新。 IAM用户组被删除后,LakeFormation云服务数据权限中的相关权限策略,需要用户手动清理删除。 建库时路径不能为所在Ca
fc53981a25。 表2 Query参数 参数 是否必选 参数类型 描述 last_known_version 否 Long 最新已知版本。 supports_policy_deltas 否 Boolean 是否支持增量同步策略。默认为false。 is_return_policy_data
列举分区信息 功能介绍 遍历指定数据表下的分区列表,对于事务表,支持基于表的特定版本遍历分区列表。 当过滤条件不为空时,优先根据过滤条件筛选过滤, 当过滤条件为空且分区值不为空时,再根据分区值筛选过滤, 当过滤条件和分区值都为空时,返回指定数据表下所有分区。 调试 您可以在API
abase下table的数据概况统计,需要先打开database的数据概况开关 version_id 否 String 版本ID,可在修改时传入,默认为最新版本 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 catalog_name String catalog名称。
化后会根据元数据发现消耗资源收取资源费用。 元数据发现当前仅支持Spark on Hudi。 前提条件 已参考任务授权开启授权。 已上传待检测的数据至OBS并行文件系统,即已从S3或HDFS将数据上传复制到LakeFormation实例所在Region的OBS并行文件系统的规划路径下。
Array of FunctionResourceUri objects 函数地址信息。 version_id 否 String 版本ID,可在修改时传入,默认为最新版本 表4 FunctionResourceUri 参数 是否必选 参数类型 描述 type 是 String 函数包类型:
//返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“hive-xxx/lib”目录下。xxx为Hive内核版本号。 并在hive-site.xml补充以下配置: <!--认证信息获取类,此处配置值仅作为参考--> <property> <name>lakecat
划线,且长度为1~128个字符。 表2 Query参数 参数 是否必选 参数类型 描述 version_id 否 String 版本ID,默认为最新版本 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 Array of strings
函数名称。只能包含字母、数字和下划线,且长度为1~256个字符。 表2 Query参数 参数 是否必选 参数类型 描述 version_id 否 String 版本ID,默认为最新版本 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 Array of strings
划线,且长度为1~256个字符。 表2 Query参数 参数 是否必选 参数类型 描述 version_id 否 String 版本ID,默认为最新版本 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 Array of strings
String 协议名称。只能包含字母、数字、下划线和中划线,且长度为1到64个字符。 agreement_version String 协议版本号。只能包含字母和数字,且长度为1到32个字符。 状态码: 400 表6 响应Body参数 参数 参数类型 描述 error_code String
String 协议名称。只能包含字母、数字、下划线和中划线,且长度为1到64个字符。 agreement_version 否 String 协议版本号。只能包含字母和数字,且长度为1到32个字符。 响应参数 状态码: 200 表4 响应Header参数 参数 参数类型 描述 X-request-id