检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/partitions/column-statistics/batch-get 表1
/v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/column-statistics/batch-get 表1 路径参数 参数 是否必选
在请求什么类型的操作。 表2 HTTP方法 方法 说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。
准备开发程序环境 准备开发环境 在进行LakeFormation Java SDK开发程序前,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 安装Java和JDK环境 已安装Java环境,Java版本要求使用JDK1.8或更高版本。 安装和配置IntelliJ IDEA
管理Catalog 数据目录(Catalog)是元数据管理对象,它可以包含多个数据库。 用户可在LakeFormation中创建并管理多个Catalog,用于不同外部集群的元数据隔离。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 Catalog数据存
数据湖建设和持续运营 场景描述 数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此用户需要便捷高效的建设和管理方式。 传统方式的弊端 仅支持通过计算引擎(Hive、Spark等)执行SQL实现元数据的定义、修改、查询,对用户有一定的技能要求,缺少提升易用性的可视化界面。
/v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/partitions/column-statistics 表1 路径参数 参数
String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 表2 Query参数 参数 是否必选 参数类型 描述 database_pattern 否 String 数据库名称通配符。只能包含中文、字母、数字和_-|*.特殊字符,且长度为1~128个字符。 请求参数
parameters 否 Map<String,String> 参数。 external_role_id 否 String 用户端角色id,创建时指定,不可修改。 响应参数 状态码: 201 表4 响应Body参数 参数 参数类型 描述 role_name String 角色名称。只能包
创建LakeFormation实例及客户端连接 准备用户 如果您是第一次使用LakeFormation,请参考LakeFormation准备工作章节,完成用户创建并授权使用LakeFormation等准备工作。 本入门示例,是为了演示使用LakeFormation的全流程,用户还需提前完成以下准备工作:
/v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/column-statistics 表1 路径参数 参数 是否必选 参数类型 描述
parameters 否 Map<String,String> 参数。 external_role_id 否 String 用户端角色id,创建时指定,不可修改。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 role_name String 角色名称。只能包
ID。 图1 查看项目ID 多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。 调用API获取项目ID 项目ID还可通过调用查询指定条件下的项目列表API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endp
环境准备 在配置开源Hive组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Hive环境,目前支持Hive 2.3以及Hive 3.1两个版本,并安装Git环境。 准备LakeFormation实例,详细操作请参考创建LakeFormation实例。
reverse_page 否 Boolean 是否倒序查询。 external_role_id 否 String 用户端角色id,创建时指定,不可修改。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 Array of strings
环境准备 在配置开源Spark组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
资产识别与管理 资产识别 资产信息:元数据信息、数据权限策略信息。 账号信息:不涉及,用户在LakeFormation不感知具体账号信息。 API映射表:请参见API参考。 LakeFormation云服务需要访问的租户资源包括:租户的用户组和用户信息的读取,对象存储文件目录的创
配置Hive对接LakeFormation 修改Hive服务端安装环境的“conf”目录的hive-site.xml文件,添加如下内容(部分参数值根据提示进行替换): <property> <name>hive.metastore.session.client.class</name>
parameters Map<String,String> 参数。 external_role_id String 用户端角色id,创建时指定,不可修改。 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg
parameters Map<String,String> 参数。 external_role_id String 用户端角色id,创建时指定,不可修改。 状态码: 400 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg