检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置SparkSQL的分块个数 配置场景 SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下，使用默认的分块数就会造成单个数据块过大。如果一个任务产生的单个shuffle数据块大于2G，该数据块在被fetch的时候还会报类似错误： Adjusted
配置SparkSQL的分块个数 配置场景 SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下，使用默认的分块数就会造成单个数据块过大。如果一个任务产生的单个shuffle数据块大于2G，该数据块在被fetch的时候还会报类似错误： Adjusted
ption。 原因分析 当一个block size大于2G时，hdfs在seek的时候会出现读取异常，持续频繁写入regionserver时出现了full gc，且时间比较久，导致hmaster与regionserver之间的心跳异常，然后hmaster把regionserver
MRS集群节点类型说明 MRS集群由多个弹性云服务器节点组成，根据节点的不同规格，系统以节点组的方式进行管理，不同的节点组一般选用不同的云服务器规格。 根据节点上部署的组件角色的不同，集群内的节点类型可分为Master节点、Core节点、Task节点。 表1 集群节点分类 节点类型 功能 Master节点
系统”。将“GC_OPTS”参数的值根据实际情况调大。保存配置，并重启NodeManager实例。 NodeManager重启过程中，提交到该节点的Container可能会重试到其他节点。 集群中的NodeManager实例数量和NodeManager内存大小的对应关系参考如下： 集群中的NodeMa
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 NodeManager进程的垃圾回收时间过长，可能影响该
Spark的运行环境（即客户端）只能部署在Linux环境下。您可以执行如下操作完成运行环境准备。 准备运行调测环境 在弹性云服务器管理控制台，申请一个新的弹性云服务器，用于应用开发运行调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。
申请一台Windows的ECS访问MRS集群操作Presto。申请ECS访问MRS集群的步骤如下： 在“现有集群”列表中，单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”，以及Master节点的“默认安全组”。 在弹性云服务管理控制台，创建一个新的弹性云服务器。 弹性云服务器的“可
集群创建完成后，可对集群进行监控和管理。选择“现有集群”，选中一集群并单击集群名，进入集群详情页面，查看集群的基本配置信息、网络信息和部署的节点信息等。 ECS集群和BMS集群在管理控制台操作基本一致，本文档主要以ECS集群描述为例，如有操作区别则分开描述。 查看MRS集群基本信息
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Yarn NodeManager非堆内存
ALM-12057 元数据未配置周期备份到第三方服务器的任务 告警解释 系统安装完成后会检查元数据是否有周期备份到第三方服务器的任务，然后每1小时会检查一次。如果元数据未配置周期备份到第三方服务器的任务，将发送重要告警。 在用户创建元数据周期备份到第三方服务器的任务后，告警消除。 告警属性 告警ID
配置MRS集群对接Syslog服务器上报告警 如果用户需要在统一的告警平台查看集群的告警和事件，管理员可以在FusionInsight Manager使用Syslog协议将相关数据上报到告警平台。 Syslog协议未做加密，传输数据容易被窃取，存在安全风险。 前提条件 对接服务器对应的弹性云服务器需要和
如果用户需要在统一的运维网管平台查看集群的告警、监控数据，管理员可以在FusionInsight Manager使用SNMP服务将相关数据上报到网管平台。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC，且Master节点可以访问对接服务器的IP地址和指定端口。
参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 JobHistoryServer进程的垃圾回收时间过长，可能影
B表示系列号，例如：s1中的1表示通用型I代，s2中2表示通用型II代。 C表示规格，当前系列中的规格大小，例如：medium、large、xlarge。 D表示内存、CPU比，以具体数字表示，例如4表示内存和CPU的比值为4。 规格 表1 IO优化型（IO2型）裸金属服务器的规格 规格名称/ID
产生告警的角色名称。 HostName 异常NTP服务器的IP地址。 对系统的影响 主OMS节点配置的NTP服务器异常，可能会导致主OMS节点与外部服务器不能同步时间，集群时间可能会产生误差。 可能原因 NTP服务器网络异常。 与NTP服务器认证失败。 不能从NTP服务器获取时间。
Manager提供了企业级的大数据集群的统一管理平台： 提供集群状态的监控功能，您能快速掌握服务及主机的健康状态。 提供图形化的指标监控及定制，您能及时的获取系统的关键信息。 提供服务属性的配置功能，满足您实际业务的性能需求。 提供集群、服务、角色实例的操作功能，满足您一键启停等操作需求。
弹性云服务器需要和MRS集群的Master节点在相同的VPC，且Master节点可以访问转储服务器的IP地址和指定端口。转储服务器的FTP服务正常。 Manager支持采集当前管理的集群内所有监控指标数据，采集周期有30秒、60秒和300秒三种。监控指标数据在FTP服务器保存时，
配置YARN-Client和YARN-Cluster不同模式下的环境变量 配置场景 当前，在YARN-Client和YARN-Cluster模式下，两种模式的客户端存在冲突的配置，即当客户端为一种模式的配置时，会导致在另一种模式下提交任务失败。 为避免出现如上情况，添加表1中的配置项，避免两种模式下来回切换参数，提升软件易用性。
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 MapReduce JobHistory
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
