检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果HDFS出现数据不平衡的状况，可能导致多种问题，比如MapReduce应用程序无法很好地利用本地计算的优势、数据节点之间无法达到更好的网络带宽使用率或节点磁盘无法利用等等。所以MRS集群管理员需要定期检查并保持DataNode数据平衡。
数据融合处理 MRS提供多种主流计算引擎：MapReduce（批处理）、Tez（DAG模型）、Spark（内存计算）、SparkStreaming（微批流计算）、Storm（流计算）、Flink（流计算），满足多种大数据应用场景，将数据进行结构和逻辑的转换，转化成满足业务目标的数据模型
修改MRS集群节点机架信息 大型集群的所有主机通常分布在多个机架上，不同机架间的主机通过交换机进行数据通信，且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。
父主题： 管理HetuEngine计算实例
管理HetuEngine计算实例 配置HetuEngine资源组 配置HetuEngine Worker节点数量 配置HetuEngine维护实例 配置HetuEngine Coordinator运行的节点范围 导入导出HetuEngine计算实例配置 查看HetuEngine实例监控页面
系统默认每3秒采集一次数据，在30秒内至少10周期，磁盘队列深度（avgqu-sz）> 0，iops = 0或带宽 = 0，且ioutil > 99%。 当系统连续90s内不满足以上所有条件时，告警自动清除。 相关参数获取及计算方法请参见参考信息。
创建HetuEngine计算实例 本章节指导用户新创建HetuEngine计算实例。计算实例创建成功后，停止集群前需手动停止计算实例；重启集群后，要使用集群中的计算实例，需要手动启动计算实例。
IaaS基础设施资源费用（弹性云服务器，云硬盘，弹性IP/带宽等） MRS服务管理费用详情，请参见产品价格详情。 您可以通过MRS提供的价格计算器，选择您需要的集群节点规格，来快速计算出购买MRS集群的参考价格。 MRS集群删除或退订后不再产生费用。
减少OBS服务端压力 MemArtsCC会将热点数据存储在计算侧集群，可以起到降低OBS服务端带宽的作用。 MemArtsCC与Spark的关系 Spark从OBS读取数据，OBS会从MemArtsCC读取数据，如果命中则读本地缓存，否则触发预取。
svctm的计算方法为： svctm = (tot_ticks_new - tot_ticks_old) / (rd_ios_new + wr_ios_new - rd_ios_old - wr_ios_old) MRS 2.x及以前版本： 如果rd_ios_new + wr_ios_new
同时通过高性能的计算存储分离架构，打破存算一体架构并行计算的限制，最大化发挥对象存储的高带宽、高并发的特点，对数据访问效率和并行计算深度优化（元数据操作、写入算法优化等），实现性能提升。 MRS支持自研的超级调度器Superior Scheduler，性能更优。
使用成熟的向量化的c++加速库后，数据采用向量化格式存在内存中，可以提高带宽利用率，并通过批量的列数处理获得加速效果。 通过开启Spark Native引擎特性，获得SparkSQL的性能加速。
Task节点本身不存储集群数据，属于计算节点，不存在节点数据迁移的问题。 父主题： 集群管理
ALM-45001 HetuEngine计算实例故障 此告警仅适用于MRS 3.2.0及之后版本。 告警解释 系统每60秒周期性检测HetuEngine计算实例状态，当检测到HetuEngine服务存在故障计算实例时产生该告警。
Task节点本身不存储集群数据，属于计算节点，不存在节点数据迁移的问题。因此在选择Task节点时，优先选择健康状态为故障、未知、亚健康的节点进行缩容。这些节点实例的健康状态信息可以在MRS上的“实例”管理界面查看。
在“计算实例”页签，单击对应计算实例所属的租户名的“配置”，查看该计算实例的资源配置是否合理（默认资源配置为最小化配置，可以根据实际需求调节）。 是，执行8。 否，执行5。 返回计算实例列表，单击“停止实例”，根据界面提示停止计算实例。
资源计划与基于负载的弹性伸缩规则叠加使用可以使得集群节点的弹性更好，足以应对偶尔超出预期的数据峰值出现。 当某些业务场景要求在集群扩缩容之后，根据节点数量的变化对资源分配或业务逻辑进行更改时，手动扩缩容的场景需要用户登录集群节点进行操作。
配置HetuEngine维护实例 HetuEngine维护实例介绍 维护实例是承担自动化任务的一种特殊的计算实例，主要负责物化视图的自动刷新、自动创建和自动删除。 一个集群只能有一个计算实例被设置为维护实例，也可以同时承担计算实例的业务。
HetuEngine计算实例启动后状态为故障 问题 启动HetuEngine计算实例后，大约过了30秒，计算实例直接进入故障状态。
资源组使用场景 通过资源组可以实现计算实例内的资源管理。对不同用户、不同查询分配不同的资源组，可以起到资源隔离的作用，避免单个用户或查询独占计算实例的资源，也能通过资源组之间的权重优先级配置保障重要任务优先执行。典型资源组使用场景如表1所示。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
