检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ID/Secret Access Key)即访问密钥,包含访问密钥ID(AK)和秘密访问密钥(SK)两部分,系统通过AK识别用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。 登录华为云管理控制台。 将鼠标移动到右上角用户名,在下拉列表中单击“我的凭证”。
x 订阅元数据事件 √ √ x 取消订阅元数据事件 √ √ x 查询元数据事件 √ √ √ 查询Catalog元数据 √ √ √ 创建Catalog元数据 √ √ x 修改Catalog元数据 √ √ x 删除Catalog元数据 √ √ x 查询Database元数据 √ √ √
lakeformation:database:create 创建数据库元数据。 lakeformation:database:drop 删除数据库元数据。 lakeformation:dataset:create 创建数据集元数据。 lakeformation:file:create 创建文件。
ql为例: 切换数据库(切换时需要指定catalog名称,database_name对应数据库需要在LakeFormation中存在): use spark_catalog_name.database_name; 查看表信息: show tables; 创建数据库(无法直接创建与
LakeFormation提供数据湖中Catalog的元数据创建、修改、删除、查看等功能。 √ √ 数据库管理 LakeFormation提供数据湖中数据库的元数据创建、修改、删除、查看等功能。 √ √ 表管理 LakeFormation提供数据湖中数据表的元数据创建、修改、删除、查看等功能。
通过这些接口,您可以创建目录、删除目录等。 数据库管理 数据库管理接口,包括创建、删除数据库等接口。 通过这些接口,您可以创建数据库、删除数据库等。 数据表管理 数据表管理接口,包括创建、删除数据表等接口。 通过这些接口,您可以创建数据表、删除数据表等。 数据表统计 数据表统计接口,包括获取数据表的列统计信息、删除指定列统计信息等接口。
W至5W五种QPS规格。 共享型 元数据对象数量 按照元数据对象使用量收费,元数据对象数量为Catalog、数据库、表、分区、索引、函数数量之和。 前100万个不计费,后续按照万个/小时计费,不足万个按照万个计算。 API调用次数 按照元数据相关API的调用次数收费,每个月前100万次不收费,后续按每次计费。
LakeCat 函数管理 目录管理 数据库管理 数据表管理 数据表统计 分区管理 分区统计信息 授权管理 用户组管理 元数据统计 角色管理 凭证管理 配置管理 User 元数据事件管理 父主题: API
catalog名称。 catalog_id String catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 table_name String 表名称。 table_id String 表ID。 partition_id
alterCatalog 创建数据库 Database createDatabase 删除数据库 Database dropDatabase 修改数据库 Database alterDatabase 创建数据表 Table createTable 删除数据表 Table dropTable
security_group_id 否 String 元数据迁移时数据源所在的vpc的安全组id migration_filter_type 否 String 元数据过滤方式,分为按自定义规则和按元数据类型。BY_TYPE表示按元数据类型过滤,BY_PREFERENCE表示按自定义规则过滤。
security_group_id 否 String 元数据迁移时数据源所在的vpc的安全组id migration_filter_type 否 String 元数据过滤方式,分为按自定义规则和按元数据类型。BY_TYPE表示按元数据类型过滤,BY_PREFERENCE表示按自定义规则过滤。
security_group_id String 元数据迁移时数据源所在的vpc的安全组id migration_filter_type String 元数据过滤方式,分为按自定义规则和按元数据类型。BY_TYPE表示按元数据类型过滤,BY_PREFERENCE表示按自定义规则过滤。
资产的访问控制 元数据信息的访问控制 LakeFormation实例针对Console或其他云服务的元数据访问请求,在经过身份认证后,首先进行IAM鉴权,检查用户是否具备请求中的元数据操作权限,接着再进行细粒度的鉴权,检查用户是否具备针对请求中的具体元数据的请求操作权限。鉴权失败则拒绝请求。
LakeFormation服务的元数据所映射的实际业务数据,存储在OBS并行文件系统的目录和文件。 MapReduce服务(MapReduce Service,MRS) LakeFormation与MRS集群中的Ranger、Hive、Spark对接,实现湖、仓元数据统一管理。 数据仓库服务 GaussDB(DWS)
基本概念 元数据 数据权限 区域与可用区
应用场景 数据湖建设和持续运营 多服务/多集群共享元数据
02:31 创建LakeFormation实例 湖仓构建 LakeFormation 创建LakeFormation元数据并授权 06:36 创建LakeFormation元数据并授权
catalog名称。 catalog_id String catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 table_name String 表名称。 table_id String 表ID。 partition_id
任务名通配符,用于任务名的匹配。 type 是 String METADATA_MIGRATION:元数据迁移、 PERMISSION_MIGRATION:数据权限迁移、 METADATA_DISCOVERY:元数据发现。 枚举值: METADATA_MIGRATION PERMISSION_MIGRATION