检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
instance_id:1响应信息中的“instance_id”参数值。 调用创建服务接入客户端接口,选择客户端对应的VPC相关信息创建接入客户端,LakeFormation服务将自动为其创建终端节点和DNS内网域名,用于打通网络连接。 请求示例: POST https://{endpoint}/v1
支持将外部服务的元数据权限全量或增量迁移至当前LakeFormation实例中,对元数据的权限进行统一管理。 √ √ 接入客户端管理 提供统一的接入管理能力,用户可以通过创建接入客户端的方式为指定的客户端环境建立网络连接通道,用于其他云服务接入LakeFormation实例。 √ √
> 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择创建LakeFormation实例及客户端连接已创建的LakeFormation实例(例如lakeformation-test),在左侧导航栏选择“元数据 > Catalog”。 如
任务授权 元数据迁移 权限迁移 接入客户端管理 通过接入管理页面,可以简单快速地创建并管理接入客户端,在客户端详情中可以查看接入IP、接入域名等信息,用于多种服务接入LakeFormation实例。 已发布区域:以控制台实际上线区域为准。 管理接入客户端
请检查输入的接入域名。 400 00010013 接入客户端不存在。 请检查输入的接入客户端。 400 00010014 接入客户端名称重复。 请检查输入的接入客户端名称。 400 00010015 接入客户端数量达到上限。 请删除空闲的接入客户端后重新创建或联系运维人员提高数量上限。 400
接入管理 获取服务接入信息 申请接入服务 获取服务接入客户端信息列表 创建服务接入客户端 获取服务接入客户端详情 删除服务接入客户端 更新服务接入客户端 父主题: Console
√ 取消授权资源 √ x x 查询OBS桶列表 √ √ √ 查询OBS桶对象列表 √ √ √ 创建服务接入客户端 √ √ x 查询服务接入客户端 √ √ √ 删除服务接入客户端 √ √ x 订阅元数据事件 √ √ x 取消订阅元数据事件 √ √ x 查询元数据事件 √ √ √ 查询Catalog元数据
MRS对接LakeFormation实例 03 使用 通过使用LakeFormation可以实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理、元数据与文件目录联动授权、对接多计算引擎等功能。 准备操作 注册华为云帐号 授权用户使用LakeFormation 创建自定义IAM策略 管理LakeFormation实例
准备LakeFormation实例 在LakeFormation控制台创建实例,或者使用已有LakeFormation实例。 创建客户端 在LakeFormation控制台接入管理界面创建客户端。 修改DNS信息 在云解析服务中,修改linux环境所在子网的内网域名信息。 父主题: 环境准备
lakeformation.project.id=项目ID # LakeFormation实例ID,可选参数,通过LakeFormation实例界面获取,如不填写则连接到默认实例,此处配置值仅作为参考 spark.hadoop.lakeformation.instance.id=LakeFormation实例ID
数据库连接端口安全组是否放开。 如果选择EIP连接方式,任务运行前,数据源的安全组规则需要把0.0.0.0/0全部放开。 如果选择VPC对等连接方式,任务运行前,数据源的安全组规则需要把对等连接中对端访问IP放开。 输入的vpc网段与lakeformtion网段冲突 选择VPC对等连接时,数据源所在的VP
HTTP方法 方法 说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的
环境准备 简介 准备LakeFormation实例 创建客户端 修改DNS信息
Hudi表不支持在LakeFormation管理面编辑表的字段,只能通过Hudi客户端增删改表的字段。 Flink读写Hudi场景下同步Hive表,仅支持使用hive_sync.mode=jdbc,不支持hms方式。 Spark使用小权限用户登录客户端创建数据库时,如果用户没有default库的OBS路径
MRS对接LakeFormation实例 MRS对接前准备 MRS对接LakeFormation实例前准备请参考准备工作章节创建委托、配置LakeFormation数据连接等操作。 MRS对接LakeFormation实例 当前仅MRS 3.3.0-LTS版本集群支持对接LakeFormation。 MRS对
e 查询用户以及关联角色关系。 写 lakeformation:access:create 创建接入客户端。 lakeformation:access:delete 删除接入客户端。 lakeformation:agency:create 创建委托。 lakeformation:agency:drop
取。 securitytoken可参考通过token获取临时访问密钥和securitytoken获取。 重启Hive服务。 进入Hive客户端执行以下命令进行验证。 show tables; 父主题: 配置开源Hive组件对接LakeFormation
项相对应,只有发起请求的用户被授予授权项所对应的策略,该用户才能成功调用该接口。例如,用户要调用接口来查询云服务器列表,那么这个IAM用户被授予的策略中必须包含允许“ecs:servers:list”的授权项,该接口才能调用成功。 支持的授权项 策略包含系统策略和自定义策略,如果
描述。 enterprise_project_id String 企业项目ID。 shared Boolean 逻辑多租和物理多租的判断。false为物理多租;true为逻辑多租。 default_instance Boolean 是否为默认实例。 create_time String
查询LakeFormation接入客户端的权限。 read - - lakeformation:instance:access 查询或申请接入LakeFormation实例的权限。 write - - lakeformation:access:create 创建LakeFormation接入客户端的权限。