检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
告警触发的条件。 对系统的影响 业务延迟：主机磁盘IO写入等待时长过高时，可能会导致业务进程运行处理缓慢、业务延迟。 业务失败：磁盘IO写入等待时长过高时，可能会导致业务处理缓慢、超时、失败，可能会导致作业运行失败。 可能原因 告警阈值配置或者平滑次数配置不合理。 磁盘配置无法满足业务需求，
使用External Shuffle Service提升Spark Core性能 操作场景 Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据以及给其他Executor提供shuffle数据。当Executor进程任务过重，导致触发GC（Garbage
日志类型 日志文件名 描述 运行日志 server.log Broker进程的server运行日志。 controller.log Broker进程的controller运行日志。 kafka-request.log Broker进程的request运行日志。 log-cleaner
根据自己编写的代码进行加载。 将运行程序的依赖Jar包上传至需要运行此应用的节点中，例如“$SPARK_HOME/jars”路径。 用户需要将SparkLauncher类的运行依赖包和应用程序运行依赖包上传至客户端的jars路径。文档中提供的示例代码，其运行依赖包在客户端jars中已存在。
中，是否有误写入的大文件存在。 是，执行11。 否，执行12。 处理该误写入的文件，并等待2分钟，查看告警是否清除。 是，执行完毕。 否，执行12。 联系磁盘管理员，对磁盘进行扩容。 等待2分钟，查看告警是否消失。 是，处理完毕。 否，执行14。 收集故障信息。 在FusionInsight
正则表达式函数 概述 所有的正则表达式函数都使用Java样式的语法。但以下情况除外： 使用多行模式（通过（？m）标志启用）时，只有\ n被识别为行终止符。 此外，不支持（？d）标志，因此不能使用。 大小写区分模式（通过（？i）标志启用）时，总是以unicode的模式去实现。同时，
配置场景 CGroups是一个Linux内核特性。它可以将任务集及其子集聚合或分离成具备特定行为的分层组。在Yarn中，CGroups特性对容器（Container）使用的资源（例如CPU使用率）进行限制。本特性大大降低了限制容器CPU使用的难度。 当前CGroups仅用于限制CPU使用率。
表示启动该作业的用户。 类型 表示作业的类型。 状态 表示作业的状态，包含“成功”、“正在运行”、“失败”。 进度 表示作业运行进度。 组 表示作业所属组。 开始 表示作业开始时间。 持续时间 表示作业运行使用的时间。 Id 表示作业的编号，由系统自动生成。 如果MRS集群安装了Spark
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务延迟：主机CPU使用率过高时，可能会导致业务进程运行处理缓慢、业务延迟。 业务失败：主机CPU使用率过高时，可能会导致业务处理缓慢、超时、失败，可能会导致作业运行失败。 可能原因 告警阈值配置或者平滑次数配置不合理。 CPU配置无法满足业务需求，
权限 > 角色”。 MRS 2.x及之前版本：选择“系统设置 > 角色管理”。 在角色列表中，根据实际需要对角色执行以下操作。 修改角色信息：在要修改信息角色所在的行，单击“修改”。 导出角色信息：单击“导出全部”，可一次性导出所有角色信息，可导出“TXT”或者“CSV”格式文件。
告警触发的条件。 对系统的影响 业务延迟：主机磁盘IO利用率过高时，可能会导致业务进程运行处理缓慢、业务延迟。 业务失败：磁盘IO利用率过高时，可能会导致业务处理缓慢、超时、失败，可能会导致作业运行失败。 可能原因 告警阈值配置或者平滑次数配置不合理。 磁盘配置无法满足业务需求，磁盘
告警触发的条件。 对系统的影响 业务延迟：主机CPU使用率过高时，可能会导致业务进程运行处理缓慢、业务延迟。 业务失败：主机CPU使用率过高时，可能会导致业务处理缓慢、超时、失败，可能会导致作业运行失败。 可能原因 告警阈值配置或者平滑次数配置不合理。 CPU配置无法满足业务需求，
各个磁盘。 观察一段时间，检查告警是否清除。 告警清除，操作结束。 告警没有清除，重复执行5~6三次。重复执行次数达到上限，执行8。 观察一段时间，检查告警是否清除。 是，操作结束。 否，执行9。 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志
jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码，但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider.hacluster=org
jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码，但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider.hacluster=org
JobHistory2x进程堆内存使用率过高，会影响JobHistory2x进程运行的性能，甚至造成内存溢出导致JobHistory2x进程不可用，进程不可用时仅会造成无法查询Spark任务历史执行记录。 可能原因 该节点JobHistory2x进程堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。
安装补丁过程中对现行系统的影响 安装补丁过程中会重启OMS，会导致MRS Manager页面无法访问，预计持续10-20分钟。 安装补丁过程中会影响弹性伸缩以及MRS Manager上正在运行的任务，升级前请确认已经关闭弹性伸缩，并且MRS Manager上没有正在运行的任务。 安装
JavaSparkContext jsc = new JavaSparkContext(conf); //读取原文件数据,每一行记录转成RDD里面的一个元素 JavaRDD<String> data = jsc.textFile(args[0]);
ini | grep om_gateway 在主备管理节点分别执行ping 管理平面网关，检查节点是否与管理平面网关连通？ 是，执行5。 否，请联系网络管理员修复网络故障，处理完毕后，执行5。 在主管理节点执行以下命令，获取当前环境NTP服务器域名。 本章节后续步骤中将以“ntp
双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties.propretites”文件上进行修改后继续使用，则登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Flume > 配置工具 >
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
