检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ql为例: 切换数据库(切换时需要指定catalog名称,database_name对应数据库需要在LakeFormation中存在): use spark_catalog_name.database_name; 查看表信息: show tables; 创建数据库(无法直接创建与
OPERATE USE 表5 ResourceInput 参数 是否必选 参数类型 描述 resource_type 是 String 元数据资源类型:CATALOG、DATABASE、TABLE、FUNC、MODEL、DATASET、COLUMN、URI。 枚举值: CATALOG
alterCatalog 创建数据库 Database createDatabase 删除数据库 Database dropDatabase 修改数据库 Database alterDatabase 创建数据表 Table createTable 删除数据表 Table dropTable
ion服务分为一期和二期,一期响应Body无该参数。 枚举值: IAM SAML LDAP LOCAL AGENTTENANT OTHER type String catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。
ion服务分为一期和二期,一期响应Body无该参数。 枚举值: IAM SAML LDAP LOCAL AGENTTENANT OTHER type String catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。
LakeCat 函数管理 目录管理 数据库管理 数据表管理 数据表统计 分区管理 分区统计信息 授权管理 用户组管理 元数据统计 角色管理 凭证管理 配置管理 User 元数据事件管理 父主题: API
ion服务分为一期和二期,一期响应Body无该参数。 枚举值: IAM SAML LDAP LOCAL AGENTTENANT OTHER type String catalog类型,可选值为DEFAULT(代表默认的元数据类型)、CLICKHOUSE(代表CH类型),不设置时默认为DEFAULT。
配置云服务授权 首次使用LakeFormation服务需要进行服务授权,授权相关云资源的权限。 云服务授权操作 使用注册华为云账号创建的用户登录管理控制台。 在服务列表中选择“大数据 > 湖仓构建 LakeFormation”,进入“服务授权”页面。 IAM ReadOnlyAc
基本概念 元数据 数据权限 区域与可用区
应用场景 数据湖建设和持续运营 多服务/多集群共享元数据
0万次,这里返回200万,元数据个数,单位是万个,前100万个免费,计费标准是5元每10万个,这里返回110。 free_usage_value Integer 免费使用额度,例如api调用次数,单位是次,前100万次调用免费,这里返回100万,元数据个数,单位是万个,前100万个免费,这里返回100。
DatabaseInfo objects 子数据库信息。 name 是 String catalog名。 models 否 Array of ModelInfo objects 子模型信息。 datasets 否 Array of DatasetInfo objects 子数据集信息。 表7 DatabaseInfo
创建LakeFormation实例 删除LakeFormation实例 管理元数据 管理Catalog 管理数据库 管理数据表 管理函数 数据权限授权 数据权限授权简介 新增授权 取消授权 查询授权 角色授权 创建接入管理客户端 接入管理 管理数据迁移 元数据迁移 权限迁移 常见问题 了解更多常见问题、案例和解决方案
本入门示例,是为了演示使用LakeFormation的全流程,用户还需提前完成以下准备工作: 已在IAM服务中创建用于授权的IAM业务用户、用户组,用户已关联至用户组。 已在OBS服务中创建一个并行文件系统,并在文件系统中创建用于映射数据表的文件夹。 已创建对接LakeFormation所需的相关委托。例如,如
安全 资产识别与管理 身份认证与访问控制 数据保护技术 审计 更新管理
Console 实例管理 任务管理 服务授权管理 OBS管理 接入管理 规格管理 配额管理服务 标签管理服务 委托管理 元数据事件管理 Location 父主题: API
如何获取LakeFormation实例ID 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例。 在实例的“基本信息”中查看“实例ID”参数值,即为当前实例的ID。
、接入IP等信息。 根据获取的接入IP等信息,完成其他云服务与LakeFormation的对接。 详细操作请参考对应云服务对接LakeFormation的操作指导。例如与MRS对接,则参考配置LakeFormation数据连接章节进行操作。
DatabaseInfo objects 子数据库信息。 name 是 String catalog名。 models 否 Array of ModelInfo objects 子模型信息。 datasets 否 Array of DatasetInfo objects 子数据集信息。 表7 DatabaseInfo
本文介绍了湖仓构建LakeFormation服务各特性版本的功能发布和对应的文档动态,欢迎体验。 2022年11月 序号 功能名称 功能描述 阶段 相关文档 1 LakeFormation公测上线 支持基于IAM用户组统一授权管理。 元数据统一,支持与MRS集群Hive和Spark对接。