检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移的自定义元数据过滤策略文件名。 “元数据过滤策略”选择“按自定义规则”时配置该参数。 迁移元数据对象 勾选待迁移的元数据对象。“元数据过滤策略”选择“按元数据类型”时配置该参数。 全选:迁移数据库、函数、数据表、分区 Database:数据库 Function:函数 Table:数据表 Partition:分区
元数据 数据目录(Catalog) LakeFormation实例的元数据资源中的最顶层资源,即在一个LakeFormation实例下可以创建多个Catalog,包含名称、描述、位置等信息,支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。
管理数据表 用户在数据目录(Catalog)中可对元数据库和元数据表进行管理,按照业务规划创建对应数据表。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 已创建待创建数据表的数据库及其所属Catalog。 已参考创建元数据存储路径提前创建了用于存储数据表的OBS并行文件系统。
ALTER 修改数据库。 DROP 删除数据库。 DESCRIBE 查看数据库的元数据信息或切换数据库。 LIST_TABLE 查看数据库下资源列表。 LIST_FUNC 查看某一数据库下的函数。 CREATE_TABLE 在数据库中创建表。 CREATE_FUNC 在数据库中创建函数。
数据湖建设和持续运营 场景描述 数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此用户需要便捷高效的建设和管理方式。 传统方式的弊端 仅支持通过计算引擎(Hive、Spark等)执行SQL实现元数据的定义、修改、查询,对用户有一定的技能要求,缺少提升易用性的可视化界面。
数据目录(CATALOG):LakeFormation管理的数据目录,可以包含多个数据库。 数据库(DATABASE):LakeFormation管理的数据库,可以包含多个数据表或函数。 数据表(TABLE):LakeFormation管理的数据表,可以包含多个列。 列(COLUMN):LakeFormation管理的列。
元数据发现 操作场景 当数据存储在OBS并行文件系统中,而在LakeFormation还未与对应的元数据关联时,可以通过元数据发现,来构造这些数据对应的元数据信息,从而支撑SQL引擎或者用户的应用程序的计算与分析。 当前元数据发现特性属于公测阶段,公测期产品完全免费,商业化后会根据元数据发现消耗资源收取资源费用。
动选择数据表存储位置,单击“确定”。支持添加多条。 “数据表存储位置”为可选参数。 “数据表存储位置”可选择为所属Catalog路径及其子路径、或“数据库存储位置”路径及其子路径。 如果配置了该参数,则该数据库下的数据表位置必须是该数据库“数据表存储位置”的子路径、或数据库“选择位置”的子路径。
数据保护技术 传输加密(HTTPS) 为保证数据传输的安全性,LakeFormation的API接口为HTTPS协议。 Console或其他云服务需要采用HTTPS协议访问LakeFormation。 数据备份 LakeFormation支持基于其数据备份能力实现LakeFormation实例的数据备份。
g、UPDATE_DATABASE-修改数据库、UPDATE_TABLE-修改表、UPDATE_FUNCTION-修改函数、UPDATE_PARTITION-修改分区、DELETE_TABLE-删除表、 DELETE_DATABASE-删除数据库、DELETE_CATALOG-删
database_name String 数据库名称。 database_id String 数据库ID。 database_status Integer 数据库状态:0表示正常,1表示删除中,2表示已删除,3表示恢复中。 external_database_id String 用户端数据库id,创建时指定,不可修改。
创建LakeFormation实例 在使用LakeFormation时,您首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。 操作步骤 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
管理数据权限 数据权限概述 新增授权 取消授权 查询授权 管理角色
管理元数据 创建元数据存储路径 管理Catalog 管理数据库 管理数据表 管理函数
管理数据迁移 任务授权 元数据迁移 权限迁移 元数据发现
数据表管理 分页获取表的描述信息 根据表名列举表信息 根据条件分页列举表信息 创建表 获取表信息 修改表信息 删除表 列举库下所有表名 父主题: LakeCat
数据库管理 列举数据库信息 创建数据库 获取数据库 修改数据库属性 删除数据库 列举数据库名称信息 父主题: LakeCat
修改数据库属性 功能介绍 修改数据库属性。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v1/{project_id}/instances/{insta
规划数据湖 MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog,名称为“default”的数据库。 LakeFormation实例创建成功后,用户可按照业务规划创建相关Catalog及内部的数据库、表等元数据。
元数据数量统计 功能介绍 元数据数量统计接口。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances/{in