检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多服务/多集群共享元数据 场景描述 多服务/多集群均使用统一的元数据,最大化实现数据的共享,避免不必要的重复数据,更大程度释放业务数据价值。 本服务的优势 兼容Hive元数据模型:提供兼容Hive元数据模型的SDK客户端,使计算引擎对接LakeFormation更轻松和高效。 兼
新增元数据事件订阅者 功能介绍 新增元数据事件订阅者。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances
对于其账号下的所有元数据具有读写权限。 可以向任何用户、用户组、角色授予或撤销任何元数据的访问权限。 数据库创建者:拥有其创建的数据库的所有数据库权限,拥有其在数据库中创建表的权限,并且可以向同一IAM账号中的其他用户授予在数据库中创建表的权限。数据库创建者对其他人在数据库中创建的表不具有隐式权限。
alterCatalog 创建数据库 Database createDatabase 删除数据库 Database dropDatabase 修改数据库 Database alterDatabase 创建数据表 Table createTable 删除数据表 Table dropTable
个字节。 (可选)单击“数据库存储位置”区域中的“添加数据库存储位置”。单击“”可按照需求手动选择数据库存储位置,单击“确定”。支持添加多条。 “数据库存储位置”为可选参数。如果配置了该参数,则该Catalog下的数据库位置必须选择为该Catalog“数据库存储位置”的子路径、或该Catalog“选择位置”的子路径。
权限迁移 操作场景 在完成元数据迁移后,可以将对应元数据的权限迁移至LakeFormation,迁移成功后为元数据绑定的默认Owner将会拥有元数据的操作权限。 前提条件 已参考元数据迁移完成元数据迁移。 当前用户具有OBS相关操作权限,且已创建用于存储数据的OBS并行文件系统。 需
管理函数 用户在数据目录(Catalog)中可对元数据进行管理,按照业务规划创建对应函数。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 已创建待添加函数的数据库及其所属Catalog。 如果配置“函数位置”参数,需已参考创建元数据存储路径提前创建了用于存储函数的OBS并行文件系统。
DB对应mrs本地高斯数据库、MRS_RDS_FOR_PG对应mrs对接RDS POSTGRESQL数据库、MRS_RDS_FOR_MYSQL对应mrs对接MYSQL数据库 枚举值: DLF HDFS RANGER LAKEFORMATION MRS_RDS_FOR_PG MRS_LOCAL_GAUSSDB
授权的资源名称或路径。 如果授权类型为资源,则格式为Catalog.[Database].[Table]。 资源类型 包括以下类型: CATALOG:数据目录 DATABASE:数据库 TABLE:数据表 COLUMN:数据列 FUNC:函数 URI:路径 权限 授权的权限名称,关于权限描述可参考表2。
DB对应mrs本地高斯数据库、MRS_RDS_FOR_PG对应mrs对接RDS POSTGRESQL数据库、MRS_RDS_FOR_MYSQL对应mrs对接MYSQL数据库 枚举值: DLF HDFS RANGER LAKEFORMATION MRS_RDS_FOR_PG MRS_LOCAL_GAUSSDB
00000136 元数据未被删除,无法恢复。 请检查输入的元数据信息。 403 00000137 当前实例不支持元数据恢复。 请尝试其他实例。 400 00000138 存在同名元数据。 请清理同名元数据后重试。 400 00000139 元数据删除中,无法恢复。 请等待元数据删除完成后重试。
data_statistic_enable 否 Boolean 数据概况统计开关。默认状态为开,修改table开关状态后,还需检查所属database的开关状态。例如:table与所属database开关同时打开,则数据概况统计开启。否则关闭 表4 StorageDescriptor
String catalog名称。 catalog_id String catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 table_name String 表名称。 table_id String 表ID。
data_statistic_enable 否 Boolean 数据概况统计开关。默认状态为开,修改table开关状态后,还需检查所属database的开关状态。例如:table与所属database开关同时打开,则数据概况统计开启。否则关闭 version_id 否 String
DB对应mrs本地高斯数据库、MRS_RDS_FOR_PG对应mrs对接RDS POSTGRESQL数据库、MRS_RDS_FOR_MYSQL对应mrs对接MYSQL数据库 枚举值: DLF HDFS RANGER LAKEFORMATION MRS_RDS_FOR_PG MRS_LOCAL_GAUSSDB
实例,您可以通过控制台、API实现对数据湖的元数据进行统一的生命周期管理,无需再通过大数据集群的SQL引擎来管理。 您可以使用本文档提供API对LakeFormation进行相关操作,如创建删除LakeFormation实例、元数据库、元数据表等。 支持的主要操作请参见API概览。
LakeFormation支持将外部服务的元数据及其权限全量或增量迁移至当前LakeFormation实例中,对元数据及权限进行统一管理。 进行任务管理操作前,需要为当前用户委托访问LakeFormation的相关权限,用于元数据、权限迁移时写入相关数据。 前提条件 已提前参考创建用户并授
catalog_name 是 String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 table_name 是 String
Catalog:在左侧导航栏选择“元数据 > Catalog”,选择待授权Catalog“操作”列的“更多 > 授权”。 数据库:在左侧导航栏选择“元数据 > 数据库”,在右上角“Catalog”后的下拉框中选择待授权数据库所属的Catalog名称,选择待授权数据库“操作”列的“更多 > 授权”。 数据表:在左侧导航栏选择“元数据
objects 表元数据列表。 page_info PagedInfo object 分页返回信息。 表5 TableMeta 参数 参数类型 描述 catalog_name String catalog名称。 database_name String 数据库名称。 table_name