检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Formation,DLF) MRS云数据库RDS(for MySQL) 开源HiveMetastore(for MySQL) MRS云数据库RDS(for PostgreSQL) MRS本地数据库 JDBC URL 待迁移元数据JDBC链接的URL。“数据源类型”不为“DLF”时配置该参数。
元数据发现 操作场景 当数据存储在OBS并行文件系统中,而在LakeFormation还未与对应的元数据关联时,可以通过元数据发现,来构造这些数据对应的元数据信息,从而支撑SQL引擎或者用户的应用程序的计算与分析。 当前元数据发现特性属于公测阶段,公测期产品完全免费,商业化后会根据元数据发现消耗资源收取资源费用。
数据库(Database) LakeFormation实例的数据目录(Catalog)的下级资源,即在一个Catalog下可以创建多个Database,包含名称、所属Catalog、拥有者、位置、描述等信息,支持创建、修改、删除以及授权和查看权限等操作。 其中位置是Datab
数据目录(CATALOG):LakeFormation管理的数据目录,可以包含多个数据库。 数据库(DATABASE):LakeFormation管理的数据库,可以包含多个数据表或函数。 数据表(TABLE):LakeFormation管理的数据表,可以包含多个列。 列(COLUMN):LakeFormation管理的列。
批量删除分区信息 功能介绍 非事务表:如果设置删除数据,立刻删除分区数据路径下的数据。 事务表:如果设置删除数据,保留数据在原路径下但对外不可见,待数据超期后统一删除。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SD
DROP 删除数据库。 DESCRIBE 查看数据库的元数据信息或切换数据库。 LIST_TABLE 查看数据库下资源列表。 LIST_FUNC 查看某一数据库下的函数。 CREATE_TABLE 在数据库中创建表。 CREATE_FUNC 在数据库中创建函数。 表 ALL 表的所有操作权限。
catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 database_status Integer 数据库状态:0表示正常,1表示删除中,2表示已删除,3表示恢复中。 external_database_id String
LakeFormation支持将外部服务的元数据及其权限全量或增量迁移至当前LakeFormation实例中,对元数据及权限进行统一管理。 进行任务管理操作前,需要为当前用户委托访问LakeFormation的相关权限,用于元数据、权限迁移时写入相关数据。 前提条件 已提前参考创建用户并授
talog、UPDATE_DATABASE-修改数据库、UPDATE_TABLE-修改表、UPDATE_FUNCTION-修改函数、UPDATE_PARTITION-修改分区、DELETE_TABLE-删除表、 DELETE_DATABASE-删除数据库、DELETE_CATAL
catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 database_status Integer 数据库状态:0表示正常,1表示删除中,2表示已删除,3表示恢复中。 external_database_id String
规划数据湖 MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog,名称为“default”的数据库。 LakeFormation实例创建成功后,用户可按照业务规划创建相关Catalog及内部的数据库、表等元数据。
管理数据表 用户在数据目录(Catalog)中可对元数据库和元数据表进行管理,按照业务规划创建对应数据表。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 已创建待创建数据表的数据库及其所属Catalog。 已参考创建元数据存储路径提前创建了用于存储数据表的OBS并行文件系统。
单击“操作”列的“编辑”可以修改数据库配置信息。 单击“操作”列的“数据表”,可以查看当前数据库下的数据表信息。 在“更多”中可以为当前数据库进行授权、查看权限等操作。 如果需要删除数据库,可以选择“更多 > 删除”,确认操作影响,并根据界面提示确认是否删除其他数据后,单击“确定”。 同时删除数据库下的表
创建元数据存储路径 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 创建OBS并行文件系统
删除数据库 功能介绍 删除指定数据库,catalog的默认数据库不允许删除。 cascade: 指定为true时,删除数据库下的表;指定为false时,只能删除空的数据库。 delete_data: 指定为true时,级联删除会将表的数据放入回收站;指定为false时,不删除表数据。
批量授权 功能介绍 批量授权接口。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances/{instance_id}/policies/grant
从LakeFormation服务中批量取消授权OBS路径 功能介绍 从LakeFormation服务中批量取消授权OBS路径,已经有元数据使用的OBS路径无法取消授权 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK
参数类型 描述 resource_type 是 String 元数据资源类型:CATALOG、DATABASE、TABLE、FUNC、MODEL、DATASET、COLUMN、URI。 枚举值: CATALOG DATABASE TABLE FUNC MODEL DATASET COLUMN
catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 database_status Integer 数据库状态:0表示正常,1表示删除中,2表示已删除,3表示恢复中。 external_database_id String
数据保护技术 传输加密(HTTPS) 为保证数据传输的安全性,LakeFormation的API接口为HTTPS协议。 Console或其他云服务需要采用HTTPS协议访问LakeFormation。 数据备份 LakeFormation支持基于其数据备份能力实现LakeFormation实例的数据备份。