检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
任务管理 创建任务 根据条件分页列举任务信息 删除任务 获取任务详情 修改任务信息 运行任务 停止任务 查看任务日志 查看历史任务 父主题: Console
应用示例 外部服务接入LakeFormation
附录 状态码 错误码 获取项目ID 获取账号ID
规格管理 查询规格列表 父主题: Console
分区管理 批量修改分区信息 列举分区信息 批量添加分区信息 批量删除分区信息 批量获取分区信息 列举分区值列表 列举全量分区值列表 父主题: LakeCat
安全 资产识别与管理 身份认证与访问控制 数据保护技术 审计 更新管理
服务介绍 应用开发简介 开发流程
使用LakeFormation Java SDK开发程序 准备开发程序环境 参考样例 调测程序
管理LakeFormation实例 创建LakeFormation实例 配置LakeFormation实例 删除LakeFormation实例
参考该步骤,依次创建用于存放元数据的路径,例如: Catalog存储路径:lakeformation-test/catalog1 数据库存储路径:lakeformation-test/catalog1/database1 数据表存储路径:lakeformation-test/catalog1
LakeFormation架构 LakeFormation服务架构图如图1所示。 图1 LakeFormation服务架构 LakeFormation功能包括元数据管理、数据权限管理、控制台、API。
databases_count Long 数据库数量。 tables_count Long 表数量。 partitions_count Long 分区数量。 indexes_count Long 索引数量。
查看表信息: show tables; 创建数据库(无法直接创建与catalog同名的数据库,需要指定catalog) create database catalog_name.test; 使用MetastoreClient方式对接: 在spark-defaults.conf中补充如下配置
√ √ 数据库管理 LakeFormation提供数据湖中数据库的元数据创建、修改、删除、查看等功能。 √ √ 表管理 LakeFormation提供数据湖中数据表的元数据创建、修改、删除、查看等功能。
RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源HiveMetastore(for MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 MRS_LOCAL_GAUSSDB代表MRS本地数据库(GaussDB)。
图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。
图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 父主题: 基本概念
lakeformation:database:alter 修改数据库元数据。 lakeformation:database:create 创建数据库元数据。 lakeformation:database:drop 删除数据库元数据。
RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源HiveMetastore(for MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 MRS_LOCAL_GAUSSDB代表MRS本地数据库(GaussDB)。
审计 云审计服务(Cloud Trace Service,简称CTS),是华为云安全解决方案中专业的日志审计服务。 CTS可以提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。