检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用External Shuffle Service提升Spark Core性能 配置Yarn模式下Spark动态资源调度 调整Spark Core进程参数 Spark DAG设计规范说明 经验总结 父主题： 使用Spark2x（MRS 3.x及之后版本）
Driver配置 Spark Driver可以理解为Spark提交应用的客户端，所有的代码解析工作都在这个进程中完成，因此该进程的参数尤其重要。下面将以如下顺序介绍Spark中进程的参数设置： JavaOptions：Java命令中“-D”后面的参数，可以由System.getProperty获取。
要功能包括： 与RM调度器协商以获取资源（用Container表示）。 将得到的资源进一步分配给内部任务。 与NM通信以启动/停止任务。 监控所有任务的运行状态，并在任务运行失败时重新为任务申请资源以重启任务。 NodeManager（NM） NM是每个节点上的资源和任务管理器，
log Oozie内置jetty服务器日志，处理OozieServlet的request/response信息 jetty.out Oozie进程启动日志 oozie_db_temp.log Oozie数据库连接日志 oozie-instrumentation.log Oozie仪表
log Oozie内置jetty服务器日志，处理OozieServlet的request/response信息 jetty.out Oozie进程启动日志 oozie_db_temp.log Oozie数据库连接日志 oozie-instrumentation.log Oozie仪表
UI界面可以开关拓扑或者组件级别的调试，将流消息按采样比率输出到指定日志中。 Worker动态分析：在Storm UI界面可以收集Worker进程的Jstack、Heap日志，并且可以重启Worker进程。 拓扑日志级别动态调整：提供命令行和Storm UI两种方式对运行中的拓扑日志进行动态修改。 性能提升：与之
Manager的“告警”页面，查看是否有“NodeAgent进程异常”告警产生。 是，执行3。 否，执行6。 查看告警信息里的主机名是否和1主机名一致。 是，执行4。 否，执行6。 参考ALM-12006 NodeAgent进程异常文档步骤处理该告警。 在告警列表中查看“JobGateway服务不可用”告警是否清除。
CarbonData结构 CarbonData作为Spark内部数据源运行，不需要额外启动集群节点中的其他进程，CarbonData Engine在Spark Executor进程之中运行。 图2 CarbonData结构 存储在CarbonData Table中的数据被分成一些Ca
建议配置成节点物理内存总量的75%~90%。若该节点有其他业务的常驻进程，请降低此参数值给该进程预留足够运行资源。如果节点的总物理内存空间较大，且无其他业务的常驻进程时，该参数可配置为：总物理内存 - NodeManager的常驻进程所占内存。 MRS 3.x及之后：16384 MRS 3.x之前：8192
可能原因 Ranger服务所依赖内部服务DBService故障。 RangerAdmin角色实例异常。 处理步骤 检查DBService进程状态。 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”页面，查看系统是否上报“ALM-27001 DBService服务不可用”告警。
问题：当配置文件上传后，发现异常，重新上传配置文件，发现仍然没有满足场景要求，但日志上没有任何异常。 解决方法：重启此flume进程，kill -9 进程代码，再看日志。 问题：连接HDFS出现java.lang.IllegalArgumentException: Keytab is
memory.mb”的值为“2048”。 使用sh /opt/executor/bin/restart-executor.sh重启executor进程。 父主题： 作业管理类
Environment to continue. 使用free指令查看，该节点确实没有足够内存。 解决办法 现场进行排查内存不足原因，确认是否有某些进程占用过多内存，或者由于服务器自身内存不足。 父主题： 使用HBase
客户端向服务端提交查询请求，然后将执行结果取回并展示。 HSBroker HetuEngine的服务管理，用作计算实例的资源管理校验，健康监控与自动维护等。 HSConsole 对外提供数据源信息管理，计算实例管理，自动化任务的查看等功能的可视化操作界面和RESTful接口。 HSFabric
要功能包括： 与RM调度器协商以获取资源（用Container表示）。 将得到的资源进一步分配给内部任务。 与NM通信以启动/停止任务。 监控所有任务的运行状态，并在任务运行失败时重新为任务申请资源以重启任务。 NodeManager（NM） NM是每个节点上的资源和任务管理器，
要功能包括： 与RM调度器协商以获取资源（用Container表示）。 将得到的资源进一步分配给内部任务。 与NM通信以启动/停止任务。 监控所有任务的运行状态，并在任务运行失败时重新为任务申请资源以重启任务。 NodeManager（NM） NM是每个节点上的资源和任务管理器，
要功能包括： 与RM调度器协商以获取资源（用Container表示）。 将得到的资源进一步分配给内部任务。 与NM通信以启动/停止任务。 监控所有任务的运行状态，并在任务运行失败时重新为任务申请资源以重启任务。 NodeManager（NM） NM是每个节点上的资源和任务管理器，
enabled”配置需保持一致，请参考以上步骤继续修改未操作集群内的“ssl.enabled”参数。 使用root用户登录主集群的主OMS节点，执行如下命令重启容灾管理进程： su - omm ${BIGDATA_HOME}/om-server/om/share/om/disaster/sbin/restart-disaster
问题：当配置文件上传后，发现异常，重新上传配置文件，发现仍然没有满足场景要求，但日志上没有任何异常。 解决方法：重启此flume进程，kill -9 进程代码，再看日志。 问题：连接HDFS出现java.lang.IllegalArgumentException: Keytab is
提交Storm拓扑后Worker日志为空 提交Storm拓扑后Worker运行异常，日志提示Failed to bind to XXX 使用jstack命令查看进程堆栈提示“well-known file is not secure” 使用Storm-JDBC插件开发Oracle写入Bolt时发现数据无法写入
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
