检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表19 MetaDataDiscoveryParameter 参数 参数类型 描述 data_location String 数据存储路径,由用户选择。 target_catalog String 目标Catalog,发现元数据后要保存至的catalog。
表19 MetaDataDiscoveryParameter 参数 参数类型 描述 data_location String 数据存储路径,由用户选择。 target_catalog String 目标Catalog,发现元数据后要保存至的catalog。
storage_descriptor StorageDescriptor object 数据存储。 表12 StorageDescriptor 参数 参数类型 描述 columns Array of Column objects 分区列以外的所有字段。
表10 MetaDataDiscoveryParameter 参数 参数类型 描述 data_location String 数据存储路径,由用户选择。 target_catalog String 目标Catalog,发现元数据后要保存至的catalog。
如何获取AK/SK AK/SK(Access Key ID/Secret Access Key)即访问密钥,包含访问密钥ID(AK)和秘密访问密钥(SK)两部分,系统通过AK识别用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。
什么是项目 云的每个区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以区域默认单位为项目进行授权,IAM用户可以访问您账号中该区域的所有资源。
storage_descriptor StorageDescriptor object 数据存储。 表6 StorageDescriptor 参数 参数类型 描述 columns Array of Column objects 分区列以外的所有字段。
storage_descriptor StorageDescriptor object 数据存储。 表13 StorageDescriptor 参数 参数类型 描述 columns Array of Column objects 分区列以外的所有字段。
功能总览 功能总览 全部 LakeFormation 实例管理 元数据管理 数据权限授权 数据迁移 接入客户端管理 LakeFormation LakeFormation是企业级湖仓一站式构建服务,提供湖仓元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型
√ √ 表管理 LakeFormation提供数据湖中数据表的元数据创建、修改、删除、查看等功能。 √ √ 函数管理 LakeFormation提供数据湖中函数的元数据创建、修改、删除、查看等功能。
元数据 √ √ x 修改Database元数据 √ √ x 删除Database元数据 √ √ x 查询Table元数据 √ √ √ 创建Table元数据 √ √ x 修改Table元数据 √ √ x 删除Table元数据 √ √ x 查询Partition元数据 √ √ √ 创建
成长地图 | 华为云 湖仓构建 LakeFormation 湖仓构建 LakeFormation提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务。
lakeformation:database:alter 修改数据库元数据。 lakeformation:database:create 创建数据库元数据。 lakeformation:database:drop 删除数据库元数据。
Database createDatabase 删除数据库 Database dropDatabase 修改数据库 Database alterDatabase 创建数据表 Table createTable 删除数据表 Table dropTable 修改数据表 Table alterTable
LakeCat 函数管理 目录管理 数据库管理 数据表管理 数据表统计 分区管理 分区统计信息 授权管理 用户组管理 元数据统计 角色管理 凭证管理 配置管理 User 元数据事件管理 父主题: API
资产的访问控制 元数据信息的访问控制 LakeFormation实例针对Console或其他云服务的元数据访问请求,在经过身份认证后,首先进行IAM鉴权,检查用户是否具备请求中的元数据操作权限,接着再进行细粒度的鉴权,检查用户是否具备针对请求中的具体元数据的请求操作权限。
基本概念 元数据 数据权限 区域与可用区
应用场景 数据湖建设和持续运营 多服务/多集群共享元数据
None 操作指导 湖仓构建 LakeFormation 创建LakeFormation实例 02:31 创建LakeFormation实例 湖仓构建 LakeFormation 创建LakeFormation元数据并授权 06:36 创建LakeFormation元数据并授权
查看表信息: show tables; 创建数据库(无法直接创建与catalog同名的数据库,需要指定catalog) create database catalog_name.test; 使用MetastoreClient方式对接: 在spark-defaults.conf中补充如下配置