检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
访问页面失败，浏览器无法显示此页，如下图所示： 原因 IE 9、IE 10、IE 11浏览器的某些版本在处理SSL握手有问题导致访问失败。 解决方法 推荐使用Google Chrome浏览器71及其以上版本。 父主题： Spark2x常见问题
NodeManager关闭导致Executor(s)未移除 问题 在Executor动态分配打开的情况下，如果在任务执行过程中，执行NodeManager关闭动作，NodeManager关闭节点上的Executor(s)在空闲超时之后，在driver页面上未被移除。 回答 因为R
Spark Streaming任务一直阻塞 问题 运行一个Spark Streaming任务，确认有数据输入后，发现没有任何处理的结果。打开Web界面查看Spark Job执行情况，发现如下图所示：有两个Job一直在等待运行，但一直无法成功运行。 图1 Active Jobs 继
Spark SQL join优化 操作场景 Spark SQL中，当对两个表进行join操作时，利用Broadcast特性（见“使用广播变量”章节），将被广播的表BroadCast到各个节点上，从而转变成非shuffle操作，提高任务执行性能。 这里join操作，只指inner join。
HANDLER_LOGFILE_SIZE Hue日志文件最大大小。 5MB - Hue自定义参数请参见表2。以下自定义参数仅MRS 3.1.2及之后版本适用。 表2 Hue自定义参数 配置参数 参数描述 dfs.customized.configs 添加全局hdfs-site.xml中用户自定义配置项
管理Loader连接（MRS 3.x之前版本） 操作场景 Loader页面支持创建、查看、编辑和删除连接。 本章节适用于MRS 3.x之前版本。 前提条件 已访问Loader页面，参见Loader页面介绍。 创建连接 在Loader页面，单击“管理连接”。 单击“新建连接”，配置连接参数。
ALM-44005 Presto Coordinator进程垃圾收集时间超出阈值（2.x及以前版本） 告警解释 系统每30s周期性采集Presto Coordinator进程的垃圾收集（GC）时间，当检测到GC时间超出阈值（连续3次检测超过5s）时产生该告警。用户可在MRS Manager中通过“系统设置>
ALM-14001 HDFS磁盘空间使用率超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测HDFS集群磁盘空间使用率，并把实际的HDFS集群磁盘空间使用率和阈值相比较。HDFS集群磁盘使用率指标默认提供一个阈值范围。当HDFS集群磁盘空间使用率超出阈值范围时，产生该告警。
ALM-43011 JDBCServer进程非堆内存使用超出阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测JDBCServer进程非堆内存使用状态，当检测到JDBCServer进程非堆内存使用率超出阈值（最大内存的90%）时产生该告警。 告警属性 告警ID 告警级别 可自动清除
ALM-18008 Yarn ResourceManager堆内存使用率超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测Yarn ResourceManager堆内存使用率，并把实际的Yarn ResourceManager堆内存使用率和阈值相比较。当Yarn Re
配置Kafka后进先出 配置场景 当Spark Streaming应用与Kafka对接，Spark Streaming应用异常终止并从checkpoint恢复重启后，对于进入Kafka数据的任务，系统默认优先处理应用终止前（A段时间）未完成的任务和应用终止到重启完成这段时间内（B
访问Spark2x JobHistory中某个应用的原生页面时页面显示错误 问题 提交一个Spark应用，包含单个Job 百万个task。应用结束后，在JobHistory中访问该应用的原生页面，浏览器会等待较长时间才跳转到应用原生页面，若10分钟内无法跳转，则页面会显示Proxy
ALM-18013 上个周期运行失败的Yarn任务数超过阈值（2.x及以前版本） 告警解释 上个10min的周期内，运行失败的YARN任务数超过阈值。该告警每10min检测一次，如果上个10min周期内，发生YARN任务运行失败的数量大于设定的阈值时候，会发生该告警。如果在下个1
ALM-14002 DataNode磁盘空间使用率超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测DataNode磁盘空间使用率，并把实际磁盘使用率和阈值相比较。DataNode容量百分比指标默认提供一个阈值范围。当检测到DataNode容量百分比指标超出阈值范围时产生该告警。
是，执行3.c。 否，执行4。 分别参考ALM-12006 节点故障（2.x及以前版本）、ALM-12007 进程故障（2.x及以前版本）、ALM-14002 DataNode磁盘空间使用率超过阈值（2.x及以前版本）的处理步骤处理告警。 查看本告警是否恢复。 是，操作结束。 否，执行4。
Spark DAG设计规范说明 操作场景 合理的设计程序结构，可以优化执行效率。在程序编写过程中要尽量减少shuffle操作，合并窄依赖操作。 操作步骤 以“同行车判断”例子讲解DAG设计的思路。 数据格式：通过收费站时间、车牌号、收费站编号...... 逻辑：以下两种情况下判定这两辆车是同行车：
日志聚合下如何查看Spark已完成应用日志 问题 当YARN开启了日志聚合功能时，如何在页面看到聚合后的container日志？ 回答 当Yarn配置“yarn.log-aggregation-enable”为“true”时，就开启了container日志聚合功能。 日志聚合功能
ALM-44006 Presto Worker进程垃圾收集时间超出阈值（2.x及以前版本） 告警解释 系统每30s周期性采集Presto Worker进程的垃圾收集（GC）时间，当检测到GC时间超出阈值（连续3次检测超过5s）时产生该告警。用户可在MRS Manager中通过“系统设置
ALM-43012 JDBCServer进程直接内存使用超出阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测JDBCServer进程直接内存使用状态，当检测到JDBCServer进程直接内存使用率超出阈值（最大内存的90%）时产生该告警。 告警属性 告警ID 告警级别 可自动清除
ALM-44004 Presto Coordinator资源组排队任务超过阈值（2.x及以前版本） 告警解释 系统通过jmx接口查询资源组的排队任务数即QueuedQueries指标，当检测到资源组排队数大于阈值时产生该告警。用户可通过"组件管理 > Presto > 服务配置（将“基础配置”切换为“全部配置”）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
