检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
任务授权 元数据迁移 权限迁移 接入客户端管理 通过接入管理页面,可以简单快速地创建并管理接入客户端,在客户端详情中可以查看接入IP、接入域名等信息,用于多种服务接入LakeFormation实例。 已发布区域:以控制台实际上线区域为准。 管理接入客户端
环境准备 简介 准备LakeFormation实例 创建客户端 修改DNS信息
Hudi表不支持在LakeFormation管理面编辑表的字段,只能通过Hudi客户端增删改表的字段。 Flink读写Hudi场景下同步Hive表,仅支持使用hive_sync.mode=jdbc,不支持hms方式。 Spark使用小权限用户登录客户端创建数据库时,如果用户没有default库的OBS路径权
fault instance_id:1响应信息中的“instance_id”参数值。 调用创建服务接入客户端接口,选择客户端对应的VPC相关信息创建接入客户端,LakeFormation服务将自动为其创建终端节点和DNS内网域名,用于打通网络连接。 请求示例: POST http
ion实例中,对元数据及权限进行统一管理。 接入管理 LakeFormation提供统一的接入管理能力,用户可以通过创建接入客户端的方式为指定的客户端环境建立网络连接通道,同时可以在客户端详情中查看接入IP、接入域名等信息,用于其他云服务接入LakeFormation实例。 访问方式
> 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择创建LakeFormation实例及客户端连接已创建的LakeFormation实例(例如lakeformation-test),在左侧导航栏选择“元数据 > Catalog”。 如
请检查输入的接入域名。 400 00010013 接入客户端不存在。 请检查输入的接入客户端。 400 00010014 接入客户端名称重复。 请检查输入的接入客户端名称。 400 00010015 接入客户端数量达到上限。 请删除空闲的接入客户端后重新创建或联系运维人员提高数量上限。 400
配置Hive对接LakeFormation 修改Hive服务端安装环境的“conf”目录的hive-site.xml文件,添加如下内容(部分参数值根据提示进行替换): <property> <name>hive.metastore.session.client.class</name>
在左侧选择“内网域名”,进入内网域名界面。 在搜索框中搜索“lakeformation.lakecat.com”,查找“已关联的VPC”列为创建的客户端对应的虚拟私有云的域名所在的行,单击对应“操作”列的“管理解析”。 单击“添加记录集”,填写以下参数后,单击“确定”。 表1 添加记录集 参数
取消授权资源 √ x x 查询OBS桶列表 √ √ √ 查询OBS桶对象列表 √ √ √ 创建服务接入客户端 √ √ x 查询服务接入客户端 √ √ √ 删除服务接入客户端 √ √ x 订阅元数据事件 √ √ x 取消订阅元数据事件 √ √ x 查询元数据事件 √ √ √ 查询Catalog元数据
描述信息。最大长度为4000个字符。 parameters 否 Map<String,String> 参数。 external_role_id 否 String 用户端角色id,创建时指定,不可修改。 响应参数 状态码: 201 表4 响应Body参数 参数 参数类型 描述 role_name String
个字符。 parameters 否 Map<String,String> 参数。 external_role_id 否 String 用户端角色id,创建时指定,不可修改。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 role_name String
xml(如果已有该文件则编辑此文件),并在hive-site.xml中补充以下配置: <configuration> <!--固定配置,开启自定义metastore客户端--> <property> <name>hive.metastore.session.client.class</name> <value>com
如果选择VPC对等连接方式,任务运行前,数据源的安全组规则需要把对等连接中对端访问IP放开。 输入的vpc网段与lakeformtion网段冲突 选择VPC对等连接时,数据源所在的VPC网段和LakeFormation服务端所在网段冲突。此时可以选择EIP方式进行迁移。 无日志内容 请确认日志路径是否存在。
查询的起始记录ID。最小长度为0,最大长度为1024。 reverse_page 否 Boolean 是否倒序查询。 external_role_id 否 String 用户端角色id,创建时指定,不可修改。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 Array
管理Catalog 管理数据库 管理数据表 管理函数 数据权限授权 数据权限授权简介 新增授权 取消授权 查询授权 角色授权 创建接入管理客户端 接入管理 管理数据迁移 元数据迁移 权限迁移 常见问题 了解更多常见问题、案例和解决方案 热门案例 什么是区域和可用区? 什么是项目? 什么是配额?
查询用户以及关联角色关系。 写 lakeformation:access:create 创建接入客户端。 lakeformation:access:delete 删除接入客户端。 lakeformation:agency:create 创建委托。 lakeformation:agency:drop
查询的起始记录ID。最小长度为0,最大长度为256。 reverse_page 否 Boolean 是否倒序查询。 external_table_id 否 String 用户端表id,创建时指定,不可修改。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 Array
为256。 reverse_page 否 Boolean 是否倒序查询。 external_database_id 否 String 用户端数据库id,创建时指定,不可修改。 deleted 否 Boolean 是否查询被删除元数据。 请求参数 表3 请求Header参数 参数 是否必选
数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 external_database_id 否 String 用户端数据库id,创建时指定,不可修改。 owner 否 String 数据库所有者。长度为0~128个字符。 owner_type 否 String