检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS 1.9.0.6补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。
HetuEngine应用开发简介 HetuEngine简介 HetuEngine是华为自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合,实现海量数据秒级交互式查询;支持跨源跨域统一访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。
MRS 1.9.0.7补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。
计算任务运行在计算集群的虚拟机(Virtual Machine, VM)上,数据存储在远端的对象存储(Object Storage Service, OBS)集群中。由于远端OBS的数据访问速度限制,VM上的计算任务经常需要等待数据而拖慢任务的执行。
MRS 1.8.10.6补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。
HetuEngine基本原理 HetuEngine简介 HetuEngine是自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合,实现海量数据秒级交互式查询;支持跨源跨域统一访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。
请参见“虚拟私有云 > 用户指南 > 安全性 > 安全组 > 添加安全组规则”。
MRS 1.9.0.10补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。
MRS 1.9.3.3补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。
绑定弹性公网IP步骤如下: 在虚拟私有云管理控制台,申请一个弹性IP地址,并与弹性云服务器绑定。 具体请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 为MRS集群开放安全组规则。
MRS 1.9.3.1补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。
外置数据连接:MRS集群创建完成后,可选择关联与当前集群同一虚拟私有云和子网的RDS服务中的PostgresDB或MySQL数据库或云数据库GaussDB(for MySQL)、也可以选择与当前集群同一虚拟私有云和子网的LakeFormation实例,元数据将存储于关联的数据库或LakeFormation
因为不同Region间有网络隔离,MRS虚拟机无法下载其他Region上的OBS文件。 脚本中如何从OBS文件系统下载文件。 您可以在脚本中指定从OBS下载需要的文件。如果将文件上传到私有文件系统,需要用hadoop fs下载。
RDS实例虚拟私有云的ID xxx与集群的虚拟私有云ID xxx不一致! RDS实例子网的ID xxx与集群的子网ID xxx不一致! RDS实例的安全组ID xxx与集群的安全组ID xxx不一致! 集群已经存在相同位置的数据连接,xxx!
约束限制 已在待创建集群区域通过虚拟私有云服务创建VPC,子网。创建VPC请参考查询VPC列表和创建VPC。创建子网请参考查询子网列表和创建子网。 已获取待创建集群区域的区域和可用区信息,具体请参考终端节点。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。
16384 CPU虚拟核数 建议将此配置设定在逻辑核数的1.5~2倍之间。如果上层计算应用对CPU的计算能力要求不高,可以配置为2倍的逻辑CPU。
MRS 3.x及之后:16384 MRS 3.x之前:8192 CPU虚拟核数 建议将此配置设定在逻辑核数的1.5~2倍之间。如果上层计算应用对CPU的计算能力要求不高,可以配置为2倍的逻辑CPU。
MapReduce服务通常使用的基础资源如下,配额由各个基础服务管理,如需扩大配额,请联系对应服务的技术支持进行扩容: 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
选择Redis数据连接类型时,需提前准备“分布式缓存服务 Redis版”实例,并确保其“实例类型”为“Cluster集群”、“访问方式”为“免密访问”、同时“区域”和“虚拟私有云”需与Flink所在集群相同。 - 数据连接名称 数据连接的名称。
4 基于擎天架构的自研极简虚拟化 C7型 64 256 c7.16xlarge.4 基于擎天架构的自研极简虚拟化 C7型 128 512 c7.32xlarge.4 基于擎天架构的自研极简虚拟化 表2 内存优化型弹性云服务器的规格 类型 vCPU 内存(GB) 规格名称 虚拟化类型