检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/partitions/partition-names 表1 路径参数 参数 是否必选
在请求什么类型的操作。 表2 HTTP方法 方法 说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。
限)来控制用户对于表的创建权限,同时使用“细粒度”LakeFormation权限“CREATE_TABLE”来控制用户是否能够在某个Database下创建一个Table元数据。 “细粒度”的LakeFormation权限:指使用LakeFormation权限,向各个主体(包括用户
准备开发程序环境 准备开发环境 在进行LakeFormation Java SDK开发程序前,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 安装Java和JDK环境 已安装Java环境,Java版本要求使用JDK1.8或更高版本。 安装和配置IntelliJ IDEA
管理Catalog 数据目录(Catalog)是元数据管理对象,它可以包含多个数据库。 用户可在LakeFormation中创建并管理多个Catalog,用于不同外部集群的元数据隔离。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 Catalog数据存
数据湖建设和持续运营 场景描述 数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此用户需要便捷高效的建设和管理方式。 传统方式的弊端 仅支持通过计算引擎(Hive、Spark等)执行SQL实现元数据的定义、修改、查询,对用户有一定的技能要求,缺少提升易用性的可视化界面。
/v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/partitions/column-statistics/batch-get 表1
创建LakeFormation实例及客户端连接 准备用户 如果您是第一次使用LakeFormation,请参考LakeFormation准备工作章节,完成用户创建并授权使用LakeFormation等准备工作。 本入门示例,是为了演示使用LakeFormation的全流程,用户还需提前完成以下准备工作:
parameters 否 Map<String,String> 参数。 external_role_id 否 String 用户端角色id,创建时指定,不可修改。 响应参数 状态码: 201 表4 响应Body参数 参数 参数类型 描述 role_name String 角色名称。只能包
parameters 否 Map<String,String> 参数。 external_role_id 否 String 用户端角色id,创建时指定,不可修改。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 role_name String 角色名称。只能包
环境准备 在配置开源Hive组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Hive环境,目前支持Hive 2.3以及Hive 3.1两个版本,并安装Git环境。 准备LakeFormation实例,详细操作请参考创建LakeFormation实例。
环境准备 在配置开源Spark组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
ID。 图1 查看项目ID 多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。 调用API获取项目ID 项目ID还可通过调用查询指定条件下的项目列表API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endp
/v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/column-statistics/batch-get 表1 路径参数 参数 是否必选
reverse_page 否 Boolean 是否倒序查询。 external_role_id 否 String 用户端角色id,创建时指定,不可修改。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 Array of strings
/v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/partitions/column-statistics 表1 路径参数 参数
资产识别与管理 资产识别 资产信息:元数据信息、数据权限策略信息。 账号信息:不涉及,用户在LakeFormation不感知具体账号信息。 API映射表:请参见API参考。 LakeFormation云服务需要访问的租户资源包括:租户的用户组和用户信息的读取,对象存储文件目录的创
String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 表2 Query参数 参数 是否必选 参数类型 描述 database_pattern 否 String 数据库名称通配符。只能包含中文、字母、数字和_-|*.特殊字符,且长度为1~128个字符。 请求参数
配置Hive对接LakeFormation 修改Hive服务端安装环境的“conf”目录的hive-site.xml文件,添加如下内容(部分参数值根据提示进行替换): <property> <name>hive.metastore.session.client.class</name>
/v1/{project_id}/instances/{instance_id}/catalogs/{catalog_name}/databases/{database_name}/tables/{table_name}/column-statistics 表1 路径参数 参数 是否必选 参数类型 描述