-
更新管理 - 湖仓构建 LakeFormation
更新管理 LakeFormation实例定期自动更新SSL证书,确保提供持续稳定的HTTPS服务。 父主题: 安全
-
权限迁移 - 湖仓构建 LakeFormation
Ranger授权主体转换关系 手动指定对应的权限策略的授权主体的转换关系,前、后缀值会为最终授权主体名称添加对应的前缀、后缀。 需要分别配置“用户转换对象”、“用户组转换对象”、“角色转换对象”,及其“前缀”和“后缀”。建议非IAM用户、非IAM用户组授权主体转换为角色。 “权限策略类型”为“DLF”时无需配置该参数。
-
修改任务信息 - 湖仓构建 LakeFormation
IAM_GROUP ROLE user_prefix 否 String user转换后的对象名称的前缀。 user_suffix 否 String user转换后的对象名称的后缀。 group_to 否 String group转换对象, IAM_USER为iam用户, IAM_GROUP为iam群组,
-
创建任务 - 湖仓构建 LakeFormation
IAM_GROUP ROLE user_prefix 否 String user转换后的对象名称的前缀。 user_suffix 否 String user转换后的对象名称的后缀。 group_to 否 String group转换对象, IAM_USER为iam用户, IAM_GROUP为iam群组,
-
获取任务详情 - 湖仓构建 LakeFormation
IAM_GROUP ROLE user_prefix String user转换后的对象名称的前缀。 user_suffix String user转换后的对象名称的后缀。 group_to String group转换对象, IAM_USER为iam用户, IAM_GROUP为iam群组,
-
准备开发程序环境 - 湖仓构建 LakeFormation
安装Java和JDK环境 已安装Java环境,Java版本要求使用JDK1.8或更高版本。 安装和配置IntelliJ IDEA 用于开发应用程序的工具,版本要求:2019.1或其他兼容版本。 说明: 若使用IBM JDK,请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle
-
变更实例规格 - 湖仓构建 LakeFormation
变更实例规格 功能介绍 变更LakeFormation实例规格。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/inst
-
SDK概述 - 湖仓构建 LakeFormation
SDK概述 本文介绍了LakeFormation服务提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explorer中具体API页面的“代码示
-
调测程序 - 湖仓构建 LakeFormation
> 样例工程名称 > Lifecycle > install”,双击“install”运行maven的install命令。 图1 maven工具clean和install 使用maven命令打包后,执行以下命令将jar包上传到接入LakeFormation客户端所在节点。 java
-
错误码 - 湖仓构建 LakeFormation
00000106 不支持该Ranger权限类型转换成lakecat权限类型。 请检查Ranger权限类型。 500 00000107 不支持非hive默认Catalog转换为Ranger源数据资源。 请使用hive默认的Catalog转换为Ranger资源。 500 00000108
-
配置LakeFormation实例 - 湖仓构建 LakeFormation
on实例进行变更实例规格、设置默认实例等操作。 变更实例规格:对当前实例的QPS规格进行变更。仅独享型实例支持该操作。 设置默认实例:设置当前实例为默认实例。如果其他服务对接LakeFormation实例时,没有指定具体的实例ID,该操作将会修改服务对接的实例。 变更实例规格 登录管理控制台。
-
什么是LakeFormation - 湖仓构建 LakeFormation
提供兼容Hive/Spark/Flink/Trino社区的元数据接口,支持计算引擎平滑对接。 提供兼容Ranger的权限接口,一次授权,统一生效。 提供迁移工具,支持存量MRS集群相关元数据的平滑迁移。 数智融合 打通大数据的数据壁垒,实现真正数智融合。 支持数据库、表、函数、模型、非结构化数据集等统一管理。
-
实例管理 - 湖仓构建 LakeFormation
实例管理 创建实例 查询实例列表 删除实例 查询实例详情 更新实例 设为默认实例 变更实例规格 恢复实例 父主题: Console
-
什么是区域和可用区 - 湖仓构建 LakeFormation
区域、可用区创建资源。 区域(Region)指物理的数据中心。每个区域完全独立,这样可以实现最大程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区(AZ,Availability Zone)是同一区域内,电力和网络互相隔离的物理区域,一个可用区不受其他可用区故障的影响。
-
区域与可用区 - 湖仓构建 LakeFormation
区域、可用区创建资源。 区域(Region)指物理的数据中心。每个区域完全独立,这样可以实现一定程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区(AZ,Availability Zone)是同一区域内,电力和网络互相隔离的物理区域,一个可用区不受其他可用区故障的影响。
-
计费说明 - 湖仓构建 LakeFormation
付费方式 后付费 按照LakeFormation实例实际使用时长计费。 计费周期 秒级计费,按小时结算。 更改计费模式 暂不支持。 变更规格 支持变更实例规格。 适用场景 适用于使用需求波动的场景,可以随时开通,随时删除。 到期与欠费 用户欠费后,可以查看欠费详情。为防止相关资源被
-
修订记录 - 湖仓构建 LakeFormation
第五次正式发布。文档内容更新为: 支持元数据、权限迁移,具体请见管理数据迁移。 2023-06-26 第四次正式发布。文档内容更新为: 增加变更实例规格,设置默认实例的操作,具体请见配置LakeFormation实例。 2023-04-17 第三次正式发布。文档内容更新为: 新增创
-
状态码 - 湖仓构建 LakeFormation
这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTP的新版本协议。 201 Created 创建类的请求完全成功。 202 Accepted 已经接受请求,但未处理完成。
-
配置Spark对接LakeFormation - 湖仓构建 LakeFormation
对接后可通过spark-shell、spark-submit或spark-sql访问LakeFormation,以下以spark-sql为例: 切换数据库(切换时需要指定catalog名称,database_name对应数据库需要在LakeFormation中存在): use spark_catalog_name
-
环境准备 - 湖仓构建 LakeFormation
将LakeFormation的客户端代码中的patch应用到Hive源码。 根据需要切换Hive源码分支,例如Hive内核版本号为2.3.9,则执行如下命令: git checkout rel/release-2.3.9 执行以下命令,将patch应用到切换分支后的Hive源码工程。 mvn patch:apply