检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HetuEngine查询容错执行能力 本章节适用于MRS 3.3.0及以后版本。 HetuEngine查询容错执行能力介绍 当集群中的节点因网络、硬件或软件问题发生故障时，在故障节点上运行的所有查询任务都将丢失。这可能会严重影响集群生产力并造成资源浪费，尤其对于长时间运行的查询影响较大
ALM-45007 HetuEngine计算实例Worker个数小于阈值 本章节适用于MRS 3.3.1及以后版本。 告警解释 系统每60秒周期性检测HetuEngine计算实例的Worker个数，当检测到HetuEngine计算实例的Worker个数小于初始设置值的80%时产生该告警
创建集群并执行作业 功能介绍 创建一个MRS集群，并在集群中提交一个作业。该接口不兼容Sahara。 （建议优先使用创建集群V2接口和创建集群并提交作业V2接口来完成创建集群或创建集群并提交作业的功能） 支持同一时间并发创建10个集群。 使用接口前，您需要先获取下的资源信息。 通过
设置“acks”为“-1”在提升数据可靠性的同时会导致Producer吞吐量降低，因此滚动重启完成后，建议恢复Producer的“acks”配置原值。 滚动重启10个节点耗时约10分钟。
查看HetuEngine Coordinator和Worker日志 在HetuEngine的WebUI界面，可以通过单击LogUI链接跳转至Yarn WebUI界面查看Coordinator和Worker日志。 使用可访问HetuEngine WebUI界面的用户登录FusionInsight
配置HetuEngine Worker节点数量 配置HetuEngine Worker节点数量说明 在HetuEngine的WebUI界面，可以对计算实例的Worker节点个数进行调整，实现计算实例在资源不够时扩充资源，资源空闲时释放资源。其中包含手动扩缩容和自动扩缩容两种方式进行
ALM-45009 HetuEngine计算实例任务失败率超过阈值 本章节适用于MRS 3.5.0及以后版本。 告警解释 系统每30秒周期性检测HetuEngine计算实例的任务失败率，当检测到HetuEngine计算实例的任务失败率大于等于50%时产生该告警。 HetuEngine
配置HetuEngine Coordinator运行的节点范围 默认情况下，Coordinator和Worker节点会随机启动在Yarn的NodeManager节点上，若需要开放端口，需要开放所有NodeManager节点的端口。HetuEngine利用Yarn的资源标签提供了限制
ALM-45005 HetuEngine计算实例CPU负载使用率超过阈值 本章节适用于MRS 3.3.1及以后版本。 告警解释 系统每30秒周期性检测HetuEngine计算实例的平均CPU负载使用率，当检测到HetuEngine计算实例的CPU负载使用率大于90%时产生该告警。
解决HetuEngine扩缩容资源计算公式不准确的问题。 解决重启NodeManager后缩容worker，container未释放的问题。 HetuEngine非安全模式下支持Ranger鉴权。 解决HetuEngine支持代理用户鉴权的问题。
在这种情况下，查询吞吐量会受到冷存储的限制。 冷存储中的数据常用于归档，会很少访问。如果冷存储中的数据被大量频繁请求访问，请检查冷热数据边界（COLD_BOUNDARY）配置是否正确。如果频繁查询的大量数据在冷存储中将会限制查询的性能。
ALM-45006 HetuEngine计算实例内存负载使用率超过阈值 本章节适用于MRS 3.3.1及以后版本。 告警解释 系统每30秒周期性检测HetuEngine计算实例的内存负载使用率，当检测到HetuEngine计算实例的内存负载使用率大于80%时产生该告警。 HetuEngine
对系统的影响 系统性能下降，慢盘会导致系统I/O性能下降，从而影响系统的响应速度和吞吐量。这可能会导致客户的业务运行变慢（例如：作业提交运行变慢、页面响应迟钝、接口响应超时等），甚至出现崩溃或错误。 系统故障：慢盘故障可能会导致系统故障，从而导致客户的业务受到影响。
产品优势 MapReduce服务（MRS）提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件，用户无需关注硬件的购买和维护。MRS服务拥有强大的Hadoop内核团队，基于华为FusionInsight大数据企业级平台构筑
Loader算子数据处理规则 在Loader导入或导出数据的任务中，每个算子对于原始数据中NULL值、空字符串定义了不同的处理规则；在算子中无法正确处理的数据，将成为脏数据，无法导入或导出。 在转换步骤中，算子数据处理规则请参见下表。 表1 数据处理规则一览表 转换步骤 规则描述
MRS集群日志概述 日志描述 MRS集群的日志保存路径为“/var/log/Bigdata”。日志分类见下表： 表1 日志分类一览表 日志类型 日志描述 安装日志 安装日志记录了Manager、集群和服务安装的程序信息，可用于定位安装出错的问题。 运行日志 运行日志记录了集群各服务运行产生的信息及调试信息
Hudi表分区设计规范 规则 分区键不可以被更新： Hudi具有主键唯一性机制，但在分区表的场景下通常只能保证分区内主键唯一，因此如果分区键的值发生变更后，会导致相同主键的行记录出现多条的情况。在以日期分区的场景，可采用数据的创建时间为分区字段，切记不要采用数据更新时间做分区。 当指定
Hudi表模型设计规范 规则 Hudi表必须设置合理的主键。 Hudi表提供了数据更新和幂等写入能力，该能力要求Hudi表必须设置主键，主键设置不合理会导致数据重复。主键可以为单一主键也可以为复合主键，两种主键类型均要求主键不能有null值和空值，可以参考以下示例设置主键： SparkSQL
MapReduce Shuffle调优 操作场景 Shuffle阶段是MapReduce性能的关键部分，包括了从Map task将中间数据写到磁盘一直到Reduce task复制数据并最终放到reduce函数的全部过程。这部分Hadoop提供了大量的调优参数。 图1 Shuffle
具体计算公式为： select kurtosis(x) from (values (1),(2),(3),(4)) as t(x); -- -1.1999999999999993 regr_intercept(y, x) 描述：返回输入值的线性回归截距。y是从属值。x是独立值。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
