检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
“接入连接列表”区域可以查看终端节点ID、接入IP等信息。 根据获取的接入IP等信息,完成其他云服务与LakeFormation的对接。 详细操作请参考对应云服务对接LakeFormation的操作指导。例如与MRS对接,则参考配置LakeFormation数据连接章节进行操作。
什么是配额 什么是配额? 为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。如您最多可以创建多少台弹性云服务器、多少块云硬盘。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额? 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。
Formation的完整流程。 本流程假设终端租户已经在Console界面完成LakeFormation的服务授权。API的调用方法请参见如何调用API。 前提条件 已获取以下信息: endpoint:通过地区和终端节点查询服务的终端节点获取。 project_id:参考获取项目ID获取。
取消授权 本章节主要为您说明如何取消已有授权权限。 操作步骤 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,选择“数据权限 > 数据授权”。
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
单击“添加记录集”,填写以下参数后,单击“确定”。 表1 添加记录集 参数 说明 类型 选择“A – 将域名指向IPv4地址”。 TTL(秒) 解析记录在本地DNS服务器的缓存时间,根据需要填写。 值 填写客户端接入IP,可以通过7获取。 如果添加记录集时出现“与已有解析记录冲突”,需要检查已有记录集中是否存在冲突的解析记录。
数据权限概述 数据湖权限支持配置数据库、数据表、函数等维度的权限。 云服务管理员可针对不同的管理对象配置不同用户组的权限,统一对数据湖资源进行管理。 用户可通过LakeFormation管理控制台对数据湖内的资源进行统一权限管理,对于IAM用户/用户组,也可以通过关联LakeFo
框中分别选择待创建函数的Catalog、数据库的名称。可以查看当前数据库中包含的函数。 单击“创建函数”,配置相关参数。 在“基本信息”区域配置以下信息。 表1 基本信息配置参数 参数 参数说明 函数名称 填写待创建的元数据函数名称。 只能包含字母、数字、下划线,长度为1~256个字符。
IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件。 支持7-Zip 16.04版本。 准备依赖信息 准备LakeFormation Java
URL为:jdbc:postgresql://IP地址:端口/数据库名称?socketTimeout=600 socketTimeout为迁移客户端和数据库连接的socket超时时长。 迁移除MRS本地数据库以外的数据源类型时,URL中的IP为数据源绑定的弹性公网IP。 此外还需配置以下参数: 用户名:访问数据源所使用的用户。
查询授权 本章节主要为您说明如何进行查询已有的数据授权信息。 操作步骤 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,选择“数据权限 >
参考准备工作章节创建委托、配置LakeFormation数据连接等操作。 MRS对接LakeFormation实例 当前仅MRS 3.3.0-LTS版本集群支持对接LakeFormation。 MRS对接LakeFormation实例,相关操作请参考配置MRS 3.3.0-LTS
LakeFormation提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用。 详细调用方法请参见如何调用API。 同时LakeFormation还提供多种编程语言的SDK供您使用,SDK的使用方法请参见API Explorer。 父主题:
me}/principals 响应示例 状态码: 200 OK { "principals" : [ { "principal_type" : "USER", "principal_source" : "IAM", "principal_name" :
roles/{role_name}/grant-principals [ { "principal_name" : "user1", "principal_source" : "IAM", "principal_type" : "USER" } ] 响应示例 状态码:
oles/{role_name}/revoke-principals [ { "principal_name" : "user1", "principal_source" : "IAM", "principal_type" : "USER" } ] 响应示例 状态码:
LakeFormation使用流程简介 该LakeFormation入门教程介绍了如何创建一个LakeFormation实例并与MRS集群对接,实现统一的数据湖元数据及权限管理。 使用流程简介 MRS与LakeFormation对接的使用流程如下图所示: 图1 LakeFormation使用流程
拉框中分别选择待创建表的Catalog、数据库的名称。可以查看当前数据库中包含的数据表。 单击“创建表”,配置相关参数。 在“基本信息”区域配置以下信息。 表1 基本信息配置参数 参数 参数说明 表名称 填写待创建的元数据表名称。 只能包含中文、字母、数字、下划线,长度为1~256个字符。
首次创建实例时界面显示“立即购买”,如果界面已有LakeFormation实例则显示为“购买实例”。 按照需求配置以下参数。 表1 创建LakeFormation实例参数配置 参数 参数说明 样例 类型 选择实例类型。 共享 独享 独享 区域 选择区域。 不同区域的云服务产品之间内