检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
功能总览 功能总览 全部 LakeFormation 实例管理 元数据管理 数据权限授权 数据迁移 接入客户端管理 LakeFormation LakeFormation是企业级湖仓一站式构建服务,提供湖仓元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger
获取表信息 功能介绍 获取表信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/instances/{instance_
修改表信息 功能介绍 修改表信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v1/{project_id}/instances/{instance_
对接后二次开发 用户可根据需要进行二次开发,当前提供以下样例: 自定义认证信息获取类:用于获取访问LakeFormation服务的IAM认证信息。 自定义用户信息获取类:用于获取当前访问LakeFormation的用户。 自定义认证信息获取类 认证信息获取类(IdentityGe
创建表 功能介绍 创建表操作。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances/{instance_i
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求
根据表名列举表信息 功能介绍 根据表名查询数据库下的表信息列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/inst
批量添加分区信息 功能介绍 批量添加分区信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances/{in
元数据 数据目录(Catalog) LakeFormation实例的元数据资源中的最顶层资源,即在一个LakeFormation实例下可以创建多个Catalog,包含名称、描述、位置等信息,支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。
根据条件分页列举表信息 功能介绍 返回数据库下符合查询条件的表的元数据信息,不支持事务操作。 当表名通配符或表类型不为空时,优先根据表名和类型筛选过滤。 当表名通配符或表类型为空时,再根据属性筛选过滤。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API
成长地图 | 华为云 湖仓构建 LakeFormation 湖仓构建 LakeFormation提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务。 产品介绍 立即使用 成长地图 由浅入深,带您玩转LakeFormation
列举分区信息 功能介绍 遍历指定数据表下的分区列表,对于事务表,支持基于表的特定版本遍历分区列表。 当过滤条件不为空时,优先根据过滤条件筛选过滤, 当过滤条件为空且分区值不为空时,再根据分区值筛选过滤, 当过滤条件和分区值都为空时,返回指定数据表下所有分区。 调试 您可以在API
对接后二次开发 用户可根据需要进行二次开发,当前提供以下样例: 自定义认证信息获取类:用于获取访问LakeFormation服务的IAM认证信息。 自定义用户信息获取类:用于获取当前访问LakeFormation的用户。 自定义认证信息获取类 认证信息获取类(IdentityGe
环境准备 在配置开源Hive组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Hive环境,目前支持Hive 2.3以及Hive 3.1两个版本,并安装Git环境。 准备LakeFormation实例,详细操作请参考创建LakeFormation实例。
批量修改分区信息 功能介绍 将输入分区值组合列表所对应的分区信息批量修改为新的分区信息。 输入的每组分区值组合都需要对应一个已存在的分区,否则修改操作失败。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
配置Spark对接LakeFormation 使用pyspark时,需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置:
环境准备 在配置开源Spark组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
权限及授权项说明 如果您需要对您所拥有的LakeFormation进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使
批量获取分区信息 功能介绍 批量获取分区信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances/{in
批量删除分区信息 功能介绍 非事务表:如果设置删除数据,立刻删除分区数据路径下的数据。 事务表:如果设置删除数据,保留数据在原路径下但对外不可见,待数据超期后统一删除。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SD