检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
允许授权的资源类型包括“CATALOG”、“DATABASE”、“TABLE”、“COLUMN”、“FUNC”等。 数据目录(CATALOG):LakeFormation管理的数据目录,可以包含多个数据库。
目录管理 列举Catalog信息 获取Catalog信息 创建Catalog 修改Catalog信息 删除Catalog对象 父主题: LakeCat
元数据 数据目录(Catalog) LakeFormation实例的元数据资源中的最顶层资源,即在一个LakeFormation实例下可以创建多个Catalog,包含名称、描述、位置等信息,支持创建、修改、删除等操作。
授权类型 数据湖中管理的资源: 数据目录(Catalog) 数据库(Database) 数据表(Table) 数据列(Column) 函数(Function) OBS路径。 操作类型 主体对授权类型的访问权限,不同授权类型支持的操作类型各不相同,可参见表2。
创建元数据存储路径 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 登录管理控制台。
规划数据湖 MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog,名称为“default”的数据库。
查询资源标签集合 功能介绍 查询租户在指定Project中实例类型的所有资源标签集合。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
catalogs_count Long 目录数量。 databases_count Long 数据库数量。 tables_count Long 表数量。 partitions_count Long 分区数量。 indexes_count Long 索引数量。
当前元数据发现特性属于公测阶段,公测期产品完全免费,商业化后会根据元数据发现消耗资源收取资源费用。 元数据发现当前仅支持Spark on Hudi。 前提条件 已参考任务授权开启授权。
管理数据权限 数据权限概述 新增授权 取消授权 查询授权 管理角色
存储实际的数据,占用物理空间。 数据存储位置 表所映射的OBS并行文件系统的文件目录。 单击“”,选择表存储在OBS并行文件系统中的位置,单击“确定”。
Folder obs://xxxx/yyyy/ is not empty in the OBS 建表时OBS目录不能非空,迁移时需要勾选强制建表选项跳过该建表限制。 父主题: 管理数据迁移
管理数据迁移 任务授权 元数据迁移 权限迁移 元数据发现
管理元数据 创建元数据存储路径 管理Catalog 管理数据库 管理数据表 管理函数
数据备份 LakeFormation支持基于其数据备份能力实现LakeFormation实例的数据备份。 父主题: 安全
父主题: 目录管理
data_statistic_enable Boolean 数据概况统计开关。默认状态为关,若要开启database下table的数据概况统计,需要先打开database的数据概况开关。
同时删除存储在OBS的数据:可选配置,删除后数据将会放入回收站目录下,可以在过期删除前恢复。 删除元数据时如果同步删除文件,数据将移入对应OBS桶的回收站(“lake-formation-trash-dir/table_id”OBS路径)目录下。 父主题: 管理元数据
包含元数据操作类型对应的元数据信息,如库、表信息等。
父主题: 目录管理