检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“创建客户端”,在弹出的窗口中填写以下参数后,单击“确定”。 如果没有合适的虚拟私有云或子网,可以单击“前往VPC创建”。 表1 创建客户端 参数 参数说明 客户端名称 LakeFormation客户端名称。 虚拟私有云 准备运行调测的环境所在虚拟私有云。 所属子网 准备运行调测的环境所在子网。 创建成功
单击“创建客户端”,在弹出的窗口中填写以下参数后,单击“确定”。 如果没有合适的虚拟私有云或子网,可以单击“前往VPC创建”。 表1 创建接入管理客户端参数 参数 说明 客户端名称 自定义接入客户端的名称。 虚拟私有云 待接入服务所在的虚拟私有云。 所属子网 待接入服务所在的子网。 单击“操作”列“查看详情”,打开详细信息页面。
单击“创建客户端”,在弹出的窗口中填写以下参数后,单击“确定”。 如果没有合适的虚拟私有云或子网,可以单击“前往VPC创建”。 表2 创建接入管理客户端参数 参数 说明 客户端名称 自定义接入客户端的名称。 虚拟私有云 选择为MRS服务所在的虚拟私有云。 所属子网 选择为MRS服务所在的子网。 单击“操作
登录华为云管理控制台。 在“服务列表”中,选择“网络 > 云解析服务DNS”进入云解析控制台。 在左侧选择“内网域名”,进入内网域名界面。 在搜索框中搜索“lakeformation.lakecat.com”,查找“已关联的VPC”列为创建的客户端对应的虚拟私有云的域名所在的行,单击对应“操作”列的“管理解析”。
AccessConnectionRequestBody 参数 是否必选 参数类型 描述 vpcep_id 否 String 虚拟私有云终端节点ID。在 接入管理-创建客户端-前往VPC创建-VPC终端节点 创建和查看。 vpcep_service_name 否 String 终端节点服务名称。最大长度为64个字符。
创建元数据存储路径 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击,选择“存储
MRS集群和LakeFormation实例必须同在一个云账户下且属于同一个Region。 LakeFormation侧创建的接入客户端所在虚拟私有云,必须与MRS集群在同一虚拟私有云下。 MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。 MRS存量集群需要先完成元
OperateAccess:实例的存储功能,需要获取访问对象存储等服务的权限。 OBS AccessLabel:实例的权限控制功能,需要有打标签的能力。 OBS Bucket Lifecycle:实例的生命周期管理功能,需要有操作生命周期的权限。 VPCEndpoint Admini
实例创建时间戳。 表4 AccessConnectionInfo 参数 参数类型 描述 vpcep_id String 虚拟私有云终端节点ID。在接入管理-创建客户端-前往VPC创建-VPC终端节点 创建和查看。 subnet_id String 子网ID。 ip String 接入IP。
实例创建时间戳。 表6 AccessConnectionInfo 参数 参数类型 描述 vpcep_id String 虚拟私有云终端节点ID。在接入管理-创建客户端-前往VPC创建-VPC终端节点 创建和查看。 subnet_id String 子网ID。 ip String 接入IP。
组规则需要把0.0.0.0/0全部放开。 如果选择VPC对等连接方式,任务运行前,数据源的安全组规则需要把对等连接中对端访问IP放开。 输入的vpc网段与lakeformtion网段冲突 选择VPC对等连接时,数据源所在的VPC网段和LakeFormation服务端所在网段冲突。此时可以选择EIP方式进行迁移。
申请接入信息。 表4 AccessRequestInfo 参数 是否必选 参数类型 描述 vpcep_id 是 String 虚拟私有云终端节点ID。在 接入管理-创建客户端-前往VPC创建-VPC终端节点 创建和查看。 domain 是 String 分组独立域名。 响应参数 状态码:
准备LakeFormation实例,详细操作请参考创建LakeFormation实例。 创建LakeFormation接入客户端,并与Hive在相同的虚拟私有云、子网下,详细操作请参考管理接入客户端。 准备开发环境,详细操作请参考准备开发程序环境中“准备开发环境”部分,其中“安装和配置IntelliJ
准备LakeFormation实例,详细操作请参考创建LakeFormation实例。 创建LakeFormation接入客户端,并与Spark在相同的虚拟私有云、子网下,详细操作请参考管理接入客户端。 准备开发环境,详细操作请参考准备开发程序环境中“准备开发环境”部分,其中“安装和配置IntelliJ
(可选)单击“数据库存储位置”区域中的“添加数据库存储位置”。单击“”可按照需求手动选择数据库存储位置,单击“确定”。支持添加多条。 “数据库存储位置”为可选参数。如果配置了该参数,则该Catalog下的数据库位置必须选择为该Catalog“数据库存储位置”的子路径、或该Catalog“选择位置”的子路径。
读取,对象存储文件目录的创建/删除等,对象存储标签权限接口的访问。 推荐的安全配置 不涉及。 基础设施安全性 LakeFormation实例运行在跨AZ部署集群,单AZ故障不影响LakeFormation实例的运行。 LakeFormation实例使用跨AZ高可靠的存储介质来持久
建库时路径不能为所在Catalog父路径或相同路径,不能为同一Catalog下其他数据库(除default外)路径的父路径、子路径或相同路径。 创建数据库的存储位置必须在所属Catalog的存储位置之下。 用户自定义创建的Catalog对象及其子元数据对象,暂不支持授权和细粒度权限控制。 LakeFormation
通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region
数位置,单击“确定”。支持添加多条。 “函数位置”为可选参数。 如果函数所属数据库配置了“函数存储位置”参数,则此处存储位置必须选择为所属数据库“选择位置”的路径及其子路径、或“函数存储位置”的路径及其子路径。 单击“提交”。 创建完成后,即可在“函数”页面查看函数名称/ID、所
个字节。 (可选)单击“数据表存储位置”区域中的“添加数据表存储位置”。单击“”按照需求手动选择数据表存储位置,单击“确定”。支持添加多条。 “数据表存储位置”为可选参数。 “数据表存储位置”可选择为所属Catalog路径及其子路径、或“数据库存储位置”路径及其子路径。 如果配置