检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
概述 欢迎使用LakeFormation。使用LakeFormation实例,您可以通过控制台、API实现对数据湖的元数据进行统一的生命周期管理,无需再通过大数据集群的SQL引擎来管理。 您可以使用本文档提供API对LakeFormation进行相关操作,如创建删除LakeFormation
应用开发简介 湖仓构建(DataArts Lake Formation,简称LakeFormation)是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务
jar包:https://github.com/huaweicloud/obsa-hdfs/blob/master/release/hadoop-huaweicloud-3.1.1-hw-53.8.jar pom文件:https://github.com/huaweicloud/obsa-hdfs
分页获取表的描述信息 功能介绍 通过数据库通配符和表通配符,找到符合条件的表并返回表的描述信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id
更新表的列统计信息 功能介绍 更新表的列统计信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances/{instance_id
获取表的列统计信息 功能介绍 获取表的列统计信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances/{instance_id
LakeFormation权限概述 LakeFormation对于元数据权限和数据权限的管理,使用“粗粒度”的Identity and Access Management(简称IAM)权限和“细粒度”的LakeFormation权限的组合,实现精细访问控制。 “粗粒度”的IAM权限
根据表名列举表信息 功能介绍 根据表名查询数据库下的表信息列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances
根据条件分页列举表信息 功能介绍 返回数据库下符合查询条件的表的元数据信息,不支持事务操作。 当表名通配符或表类型不为空时,优先根据表名和类型筛选过滤。 当表名通配符或表类型为空时,再根据属性筛选过滤。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API
删除表的指定列统计信息 功能介绍 删除表的指定列统计信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v1/{project_id}/instances
列举库下所有表名 功能介绍 查询数据库下的所有表名称列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/instances
创建Catalog 功能介绍 创建Catalog,会在Catalog下创建默认数据库,默认数据库名称为:default。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI
管理接入客户端 用户可以通过接入管理页面,简单快速地创建并管理接入客户端,可以在客户端详情中获取接入IP等信息,用于多种服务接入LakeFormation实例。 操作步骤 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation
删除Catalog对象 功能介绍 删除空的catalog对象。 删除前需要保证catalog下只有默认的数据库,且默认数据库下没有表对象,否则删除失败。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供
创建LakeFormation实例 在使用LakeFormation时,您首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。 操作步骤 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation
例如obs://location/uri/。 compressed Boolean 是否启用数据压缩。默认为false。 input_format String 输入格式。 output_format String 输出格式。
更新管理 SSL证书采用SSL协议进行通信,SSL证书部署到服务器后,服务器端的访问将启用HTTPS协议。您的网站将会通过HTTPS加密协议来传输数据,可帮助服务器端和客户端之间建立加密链接,从而保证数据传输的安全。 SSL证书存在有效期限制,证书过期后不被信任,已安装证书的网站业务会受到影响
MRS对接LakeFormation实例 MRS对接前准备 MRS对接LakeFormation实例前准备请参考准备工作章节创建委托、配置LakeFormation数据连接等操作。 MRS对接LakeFormation实例 当前仅MRS 3.3.0-LTS版本集群支持对接LakeFormation
列举库下所有函数名称 功能介绍 查询数据库下的所有函数名称列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/instances
修改Catalog信息 功能介绍 修改Catalog信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v1/{project_id}/instances