检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么Driver进程不能退出 问题 运行Spark Streaming任务，然后使用yarn application -kill applicationID命令停止任务，为什么Driver进程不能退出？ 回答 使用yarn application -kill applicati
Executor进程Crash导致Stage重试 问题 在执行大数据量的Spark任务（如100T的TPCDS测试套）过程中，有时会出现Executor丢失从而导致Stage重试的现象。查看Executor的日志，出现“Executor 532 is lost rpc with driver
Repartition时有部分Partition没数据 问题 在repartition操作时，分块数“spark.sql.shuffle.partitions”设置为4500，repartition用到的key列中有超过4000个的不同key值。期望不同key对应的数据能分到不同
使用Flume客户端加密工具 安装Flume客户端后，配置文件的部分参数可能需要填写加密的字符，Flume客户端中提供了加密工具。 安装Flume客户端。 登录安装Flume客户端的节点，并切换到客户端安装目录。例如“/opt/FlumeClient”。 切换到以下目录 cd f
如果用户在ResourceManager中配置了自定义的调度器，可以通过以下配置项为其配置相应的Web展示页面及其他Web应用。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。 表1 配置自定义调度器的WebUI 参数 描述 默认值 hadoop.http
理”，选择需要重启的服务，进入服务页面。在“服务状态”页签单击“更多”，选择“重启服务”或“滚动重启服务”。 在FusionInsight Manager界面，选择“集群 > 服务 > 待操作的服务名称”，单击右上角的“更多”，选择“重启服务”或“滚动重启服务”。 升级路径不一样重启的服务不一样，详情见如下表格。
回滚补丁前检查 卸载补丁前需要手动进行相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面，选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是，节点间网络不互通，请联系运维人员修复。
在“现有集群”列表中，单击指定的集群名称。 记录集群的“可用区”、“虚拟私有云”、“安全组”。 在管理控制台首页服务列表中选择“弹性云服务器”，进入ECS管理控制台，创建一个新的弹性云服务器。 弹性云服务器的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 选择一个Window
列在Yarn的服务里面仍然残留。由于Yarn的机制，无法动态删除队列，管理员可以执行命令手动清除残留的队列。 对系统的影响 脚本运行过程中会重启controller服务，同步Yarn的配置，并重启主备ResourceManager实例。 重启controller服务时，无法登录和操作FusionInsight
告警属性 告警ID 告警级别 是否自动清除 38009 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 主题名 产生告警的Kafka Topic。 对系统的影响 Par
重启受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。 否，执行6。 在重启服务或实例期间，可能会造成访问Guardian失败，从而导致作业无法访问OBS。 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Guardian”。
紧急（默认阈值为200ms） 重要（默认阈值为100ms） 是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名称。 附加信息 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。
告警属性 告警ID 告警级别 是否自动清除 45178 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。
> 待操作集群的名称 > 服务 > Presto > 配置”，选择“全部配置”， 选择“Worker > JVM”，将“JAVA_OPTS”参数中“Xmx”的值根据实际情况进行调大，并单击“保存”。 返回“概览”页面，单击“更多 > 重启服务”重启服务。 观察界面告警是否清除。 是，处理完毕。
告警。 告警属性 告警ID 告警级别 是否自动清除 45333 次要 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名 对系统的影响 无 可能原因 Presto实例线程数量过大。
告警。 告警属性 告警ID 告警级别 是否自动清除 45334 次要 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 无 可能原因 Presto实例线程数量过大。
告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 PathName 异常的文件路径或者名称。 对系统的影响 导致文件所属服务功能不正常。 可能原因 用户手动修改了文件配置或者系统异常下电等原因。
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 故障的NodeManager节点无法提供Yarn服务。 容器减少，集群性能下降。
系统每小时周期性检测配置quota的所有服务目录的znode数量，当检测到某个二级znode的数量使用率超过阈值时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 13010 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 服务目录 产生告警的目录名称。
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 MapReduce可用直接内存不足，可能会造成内存溢出导致服务崩溃。 可能原因
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
