检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
环境准备 简介 准备LakeFormation实例 创建客户端 修改DNS信息
如何获取LakeFormation实例ID 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例。 在实例的“基本信息”中查看“实例ID”参数值,即为当前实例的ID。
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
权限管理 创建用户并授权使用LakeFormation 创建LakeFormation自定义IAM策略 父主题: 准备工作
管理元数据 创建元数据存储路径 管理Catalog 管理数据库 管理数据表 管理函数
管理数据迁移 任务授权 元数据迁移 权限迁移 元数据发现
数据保护技术 传输加密(HTTPS) 为保证数据传输的安全性,LakeFormation的API接口为HTTPS协议。 Console或其他云服务需要采用HTTPS协议访问LakeFormation。 数据备份 LakeFormation支持基于其数据备份能力实现LakeFormation实例的数据备份。
eFormation,“AGENTTENANT”表示来自IAM委托。 授权对象 授权的资源名称或路径。 如果授权类型为资源,则格式为Catalog.[Database].[Table]。 资源类型 包括以下类型: CATALOG:数据目录 DATABASE:数据库 TABLE:数据表
ExampleAuthenticationManager</value> </property> <!--可选参数,是否开启owner指定,开启后创建资源时将使用当前用户作为资源owner,默认为false--> <property> <name>lakeformation.owner.designate</name>
Formation,简称LakeFormation)是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务 本文档提供LakeFormation服务应用开发流程
单击“返回控制台”,在控制台即可查看新创建的LakeFormation实例信息。 创建实例时需要注意配额提醒。当资源配额不足时,建议按照界面提示申请足够的资源,再创建实例。 等待实例状态变为“”表示实例已创建成功。 创建接入客户端 登录管理控制台。 在左上角单击“”,选择“大数据
log4j-api-2.19.0.jar(spark3.3无需补充) https://mirrors.huaweicloud.com/repository/maven/org/apache/logging/log4j/log4j-api/2.19.0/log4j-api-2.19.0
n的相关操作事件,方便您日后的查询、审计和回溯。 支持审计日志的操作 表1 云审计服务支持的LakeFormation服务操作 操作名称 资源类型 事件名称 创建Catalog Catalog createCatalog 删除Catalog Catalog dropCatalog
成长地图 | 华为云 湖仓构建 LakeFormation 湖仓构建 LakeFormation提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务。 产品介绍 立即使用 成长地图 由浅入深,带您玩转LakeFormation
https://mirrors.huaweicloud.com/repository/maven/huaweicloudsdk/com/huawei/apigateway/java-sdk-core/ 11 hadoop-huaweicloud-3.1.1-hw-53.8.jar https://github
元数据模型的SDK客户端,使计算引擎对接LakeFormation更轻松和高效。 兼容Ranger权限模型:提供兼容Ranger权限模型的接口,具备良好的生态扩展性。 建议搭配服务 MapReduce服务(MRS) 数据仓库服务 GaussDB(DWS) 数据湖探索(DLI) 支持情况请咨询对应服务。