检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务 本文档提供LakeFormation服务应用开发流程、环境准备及程序编写介绍,供需要进行业务应用开发的开发人员使用。
应用示例 外部服务接入LakeFormation
应用场景 数据湖建设和持续运营 多服务/多集群共享元数据
元数据发现 操作场景 当数据存储在OBS并行文件系统中,而在LakeFormation还未与对应的元数据关联时,可以通过元数据发现,来构造这些数据对应的元数据信息,从而支撑SQL引擎或者用户的应用程序的计算与分析。
CTS可以提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可用于对LakeFormation实例、元数据等权限的管理。 父主题: 安全
400 00010075 应用当前状态不能被更新,状态为STOPPED的应用才能被更新。 请等待应用状态为STOPPED之后再更新。 404 00010076 应用不存在。 请使用正确的应用ID。 404 00010077 应用版本不存在。 请使用正确的版本ID。
父主题: 应用场景
这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTP的新版本协议。 201 Created 创建类的请求完全成功。
简介 在进行湖仓构建应用开发时,要准备的环境如表1所示。 同时需要准备运行调测的环境,用于验证应用程序运行正常。 表1 准备项 准备项 说明 准备LakeFormation实例 在LakeFormation控制台创建实例,或者使用已有LakeFormation实例。
安装和配置IntelliJ IDEA 用于开发应用程序的工具,版本要求:2019.1或其他兼容版本。 说明: 若使用IBM JDK,请确保IntelliJ IDEA中的JDK配置为IBM JDK。
父主题: 应用场景
Default catalog, for Hive", "location": "obs://lakeformation-555d9e8999c94705-xxx/ed1ce787-1671-4ce4-b84f-6f40ccb26752" } ] 父主题: 应用示例
服务介绍 应用开发简介 开发流程
产品介绍 什么是LakeFormation 实例规格 应用场景 02 入门 LakeFormation入门教程,介绍如何创建一个LakeFormation实例并与MRS集群对接,实现统一的数据湖权限管理。
file_sample_rate Integer 文件采样率 (%),取值范围为 0到100,100表示百分之百全量扫描,0表示每个文件夹下只扫描一个文件。 table_depth Integer 表深度。
根据需要切换Hive源码分支,例如Hive内核版本号为2.3.9,则执行如下命令: git checkout rel/release-2.3.9 执行以下命令,将patch应用到切换分支后的Hive源码工程。
将LakeFormation的客户端代码中的patch应用到Hive源码。
file_sample_rate Integer 文件采样率 (%),取值范围为 0到100,100表示百分之百全量扫描,0表示每个文件夹下只扫描一个文件。 table_depth Integer 表深度。
file_sample_rate Integer 文件采样率 (%),取值范围为 0到100,100表示百分之百全量扫描,0表示每个文件夹下只扫描一个文件。 table_depth Integer 表深度。
POST https://iam.cn-north-1.myhuaweicloud.com/v3/auth/tokens Content-Type: application/json 请求消息体(可选) 该部分可选。