检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群管理 使用MRS的首要操作就是购买集群,MRS提供不同的快速创建和自定义创建集群的方式,满足您快速创建集群或个性化定制集群配置的需求。 购买集群 MRS控制台提供快速购买和自定义购买方式创建集群,让您轻松创建集群。 快速购买集群 自定义购买集群 扩容集群 MRS的扩容不论在存
慢时。 加载到HBase新生成的单个HFile文件大小接近HDFS block大小。 步骤1:创建MRS离线查询集群 进入购买MRS集群页面。 选择“快速购买”,填写配置参数。 表1 软件配置 参数项 参数说明 取值 区域 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业
据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。 用户可以基于系统预置的集群模板快速购买一个集群,也可自行选择组件列表及高级配置特性,自定义购买集群。 表1 MRS集群类型 集群类型 场景介绍 核心组件 Hadoop分析集群 Hadoop集群完全使用开源
集群创建类 如何使用自定义安全组创建MRS集群? 购买MRS集群时找不到HDFS、Yarn、MapReduce组件如何处理? 购买MRS集群时,找不到ZooKeeper组件如何处理? 购买MRS集群提交订单时报无效认证如何处理?
弹性云服务器单价 * 购买时长 弹性云服务器单价请以弹性云服务器价格计算器中的价格为准。 云硬盘(系统盘和数据盘) 计费因子:云硬盘类型、容量。 购买云硬盘成功后,将立即开始计费,计费与其是否被使用无关。 包年/包月、按需计费 云硬盘的大小 * 云硬盘单价 * 购买数量 * 购买时长 云硬盘单价请参见云硬盘价格计算器。
据。 外置数据连接:MRS集群创建完成后,可选择关联与当前集群同一虚拟私有云和子网的RDS服务中的PostgresDB或MySQL数据库或云数据库GaussDB(for MySQL)、也可以选择与当前集群同一虚拟私有云和子网的LakeFormation实例,元数据将存储于关联的数
在“现有集群”列表中,单击指定的集群名称。 记录集群的“可用区”、“虚拟私有云”、“集群管理页面”、“安全组”。 在管理控制台首页服务列表中选择“弹性云服务器”,进入ECS管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。
YARN组件已分配的虚拟CPU核心数。 取值范围为[0~2147483646]。 YARNCPUAvailable 整型 YARN组件可用的虚拟CPU核心数。 取值范围为[0~2147483646]。 YARNCPUAvailablePercentage 百分比 YARN组件可用虚拟CPU核
补丁基本信息 表1 补丁基本信息 补丁号 MRS_3.1.0_TROS_Tools_patch_20240430 发布时间 2024-07-15 解决的问题 MRS_3.1.0_TROS_Tools_patch_20240430修复问题列表: 支持Manager运维通道 支持运维巡检特性
当集群删除时元数据同时被删除,如需保存元数据,需提前前往数据库手动保存元数据。 外置数据连接:可以为MRS集群选择关联与当前MRS集群同一虚拟私有云和子网的外置数据连接。元数据将存储于关联的数据库中,不会随当前MRS集群的删除而删除,多个MRS集群可共享同一份元数据。 MRS集群支持的外置数据连接类型为:
补丁基本信息说明 表1 补丁基本信息 补丁号 MRS 3.3.1-LTS.1.1 发布时间 2024-07-24 解决的问题 MRS 3.3.1-LTS.1.1修复问题列表: 解决设置用户密码永久生效后,会产生密码过期告警的问题。 解决Manager的fms进程线程泄露的问题。
您可以选择购买LTS版集群。 LTS版集群具备多可用区部署能力,可以实现集群可用区级别的容灾。如果您需要MRS集群具备更高的安全性能和容灾能力,您可以选择购买LTS版集群。 LTS版集群支持HetuEngine、IoTDB等组件,如果您需要使用相关组件,您可以选择购买LTS版集群。
您可以选择购买LTS版集群。 LTS版集群具备多可用区部署能力,可以实现集群可用区级别的容灾。如果您需要MRS集群具备更高的安全性能和容灾能力,您可以选择购买LTS版集群。 LTS版集群支持HetuEngine、IoTDB等组件,如果您需要使用相关组件,您可以选择购买LTS版集群。
登录MRS管理控制台。 单击“购买集群”,进入购买集群页面。 在购买集群页面,选择“快速购买”或“自定义购买”。 参考快速购买MRS集群或自定义购买MRS集群配置集群信息。 在“通信安全授权”栏,勾选通信安全授权。 图1 通信安全授权 单击“立即购买”创建集群。 当集群开启Ker
请确认包年/包月MRS集群还未到期。 在购买MRS集群页面开通自动续费 您可以在购买包年/包月的MRS集群页面开通自动续费。更多购买MRS集群的信息,请参见购买自定义集群。 在购买MRS集群时开通的自动续费遵循以下规则: 按月购买:自动续费周期为1个月。 按年购买:自动续费周期为1年。 在现有集群列表开通自动续费
运行。 步骤4:查看作业执行结果:作业执行完成后在OBS路径中获取日志文件并查看执行结果。 步骤1:创建MRS集群 进入购买MRS集群页面。 选择“自定义购买”。 参见表1配置集群信息。 表1 基础配置和集群配置 参数名称 参数说明 取值样例 计费模式 选择待创建的MRS集群的计费模式。
16384 CPU虚拟核数 建议将此配置设定在逻辑核数的1.5~2倍之间。如果上层计算应用对CPU的计算能力要求不高,可以配置为2倍的逻辑CPU。 参数 描述 默认值 yarn.nodemanager.resource.cpu-vcores 表示该节点上YARN可使用的虚拟CPU个数,默认是8。
按需转包年/包月 如果您需要长期使用当前按需购买的MRS集群,可以将该MRS集群转为包年/包月计费模式,以节省开支。按需计费变更为包年/包月会生成新的订单,用户支付订单后,包年/包月资源将立即生效。 假设用户于2023/06/18 15:29:16购买了一个按需计费的MRS集群,由于业务需要,于2023/06/18
使用top命令查看CPU使用率高的进程号。 查看此进程中占用CPU高的线程。 使用命令top -H -p <PID>即可打印出某进程<PID>下的线程的CPU耗时信息。 一般某个进程如果出现问题,是因为某个线程出现问题了,获取查询到的占用CPU最高的线程号。 或者使用命令ps -mp <PID>
包年/包月是一种预付费模式,即先付费再使用,按照订单的购买周期进行结算,因此在购买之前,用户必须确保账户余额充足。按需计费是一种后付费模式,即先使用再付费,按照MRS集群实际使用时长计费。 关于两种计费模式的详细介绍请参见计费模式概述。 在购买MRS集群后,如果发现当前计费模式无法满足业务