检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建元数据存储路径 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击,选择“存储
单击“创建客户端”,在弹出的窗口中填写以下参数后,单击“确定”。 如果没有合适的虚拟私有云或子网,可以单击“前往VPC创建”。 表1 创建客户端 参数 参数说明 客户端名称 LakeFormation客户端名称。 虚拟私有云 准备运行调测的环境所在虚拟私有云。 所属子网 准备运行调测的环境所在子网。 创建成功
OperateAccess:实例的存储功能,需要获取访问对象存储等服务的权限。 OBS AccessLabel:实例的权限控制功能,需要有打标签的能力。 OBS Bucket Lifecycle:实例的生命周期管理功能,需要有操作生命周期的权限。 VPCEndpoint Admini
MRS集群和LakeFormation实例必须同在一个云账户下且属于同一个Region。 LakeFormation侧创建的接入客户端所在虚拟私有云,必须与MRS集群在同一虚拟私有云下。 MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。 MRS存量集群需要先完成元
单击“创建客户端”,在弹出的窗口中填写以下参数后,单击“确定”。 如果没有合适的虚拟私有云或子网,可以单击“前往VPC创建”。 表1 创建接入管理客户端参数 参数 说明 客户端名称 自定义接入客户端的名称。 虚拟私有云 待接入服务所在的虚拟私有云。 所属子网 待接入服务所在的子网。 单击“操作”列“查看详情”,打开详细信息页面。
时新的元数据存储路径为“obs://a/b”。 可以同时创建多条规则,当规则发生冲突时,以排在界面最上方的规则为准。 网络连接 选择网络连接方案。 推荐选择“EIP”,使用EIP方式连接网络。 同时需要选择“安全组ID”,即数据源所在VPC的安全组ID,用于打通网络。 事件通知策略
单击“创建客户端”,在弹出的窗口中填写以下参数后,单击“确定”。 如果没有合适的虚拟私有云或子网,可以单击“前往VPC创建”。 表2 创建接入管理客户端参数 参数 说明 客户端名称 自定义接入客户端的名称。 虚拟私有云 选择为MRS服务所在的虚拟私有云。 所属子网 选择为MRS服务所在的子网。 单击“操作
在左侧选择“内网域名”,进入内网域名界面。 在搜索框中搜索“lakeformation.lakecat.com”,查找“已关联的VPC”列为创建的客户端对应的虚拟私有云的域名所在的行,单击对应“操作”列的“管理解析”。 单击“添加记录集”,填写以下参数后,单击“确定”。 表1 添加记录集
AccessConnectionRequestBody 参数 是否必选 参数类型 描述 vpcep_id 否 String 虚拟私有云终端节点ID。在 接入管理-创建客户端-前往VPC创建-VPC终端节点 创建和查看。 vpcep_service_name 否 String 终端节点服务名称。最大长度为64个字符。
准备LakeFormation实例,详细操作请参考创建LakeFormation实例。 创建LakeFormation接入客户端,并与Hive在相同的虚拟私有云、子网下,详细操作请参考管理接入客户端。 准备开发环境,详细操作请参考准备开发程序环境中“准备开发环境”部分,其中“安装和配置IntelliJ
读取,对象存储文件目录的创建/删除等,对象存储标签权限接口的访问。 推荐的安全配置 不涉及。 基础设施安全性 LakeFormation实例运行在跨AZ部署集群,单AZ故障不影响LakeFormation实例的运行。 LakeFormation实例使用跨AZ高可靠的存储介质来持久
准备LakeFormation实例,详细操作请参考创建LakeFormation实例。 创建LakeFormation接入客户端,并与Spark在相同的虚拟私有云、子网下,详细操作请参考管理接入客户端。 准备开发环境,详细操作请参考准备开发程序环境中“准备开发环境”部分,其中“安装和配置IntelliJ
必须与所属的Catalog、数据库的存储路径不同。 如果所属数据库配置了“数据表存储位置”参数,则此处存储位置必须选择为所属数据库“选择位置”的子路径、或“数据表存储位置”的子路径。 是否压缩 数据表是否压缩。 压缩表能够使表中的数据以压缩格式存储,表压缩能提升性能,减少存储空间。 数据源格式
中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服
个字节。 (可选)单击“数据表存储位置”区域中的“添加数据表存储位置”。单击“”按照需求手动选择数据表存储位置,单击“确定”。支持添加多条。 “数据表存储位置”为可选参数。 “数据表存储位置”可选择为所属Catalog路径及其子路径、或“数据库存储位置”路径及其子路径。 如果配置
申请接入信息。 表4 AccessRequestInfo 参数 是否必选 参数类型 描述 vpcep_id 是 String 虚拟私有云终端节点ID。在 接入管理-创建客户端-前往VPC创建-VPC终端节点 创建和查看。 domain 是 String 分组独立域名。 响应参数 状态码:
实例创建时间戳。 表6 AccessConnectionInfo 参数 参数类型 描述 vpcep_id String 虚拟私有云终端节点ID。在接入管理-创建客户端-前往VPC创建-VPC终端节点 创建和查看。 subnet_id String 子网ID。 ip String 接入IP。
实例创建时间戳。 表4 AccessConnectionInfo 参数 参数类型 描述 vpcep_id String 虚拟私有云终端节点ID。在接入管理-创建客户端-前往VPC创建-VPC终端节点 创建和查看。 subnet_id String 子网ID。 ip String 接入IP。
数位置,单击“确定”。支持添加多条。 “函数位置”为可选参数。 如果函数所属数据库配置了“函数存储位置”参数,则此处存储位置必须选择为所属数据库“选择位置”的路径及其子路径、或“函数存储位置”的路径及其子路径。 单击“提交”。 创建完成后,即可在“函数”页面查看函数名称/ID、所
(可选)单击“数据库存储位置”区域中的“添加数据库存储位置”。单击“”可按照需求手动选择数据库存储位置,单击“确定”。支持添加多条。 “数据库存储位置”为可选参数。如果配置了该参数,则该Catalog下的数据库位置必须选择为该Catalog“数据库存储位置”的子路径、或该Catalog“选择位置”的子路径。