检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置进程参数 操作场景 Spark on YARN模式下，有Driver、ApplicationMaster、Executor三种进程。在任务调度和运行的过程中，Driver和Executor承担了很大的责任，而ApplicationMaster主要负责container的启停。
Executor进程Crash导致Stage重试 问题 在执行大数据量的Spark任务（如100T的TPCDS测试套）过程中，有时会出现Executor丢失从而导致Stage重试的现象。查看Executor的日志，出现“Executor 532 is lost rpc with driver
Executor进程Crash导致Stage重试 问题 在执行大数据量的Spark任务（如100T的TPCDS测试套）过程中，有时会出现Executor丢失从而导致Stage重试的现象。查看Executor的日志，出现“Executor 532 is lost rpc with driver
--connect 指定JDBC连接的URL，格式为：jdbc:mysql://MySQL数据库IP地址:MySQL的端口/数据库名称。 --username 连接MySQL数据库的用户名。 -password 连接MySQL数据库的用户密码。命令中如果携带认证密码信息可能存在安全风险，
用户尝试收集大量数据到Driver端，如果Driver端的内存不足以存放这些数据，那么就会抛出OOM(OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。 解决措施： 如果用户需要在OOM场景下强制将应用退出，那么可以在启动Spark
-k 2"}}' | head -10 。（$pid为上一步获取的pid值） 获取节点IP与连接数是否成功。 是，执行6。 否，执行15。 获取连接进程的端口号。根据获取到的pid与IP值，执行命令lsof -i|grep $pid | awk '{print $9}'|cut -d
使用Hcatalog方式同步Hive和MySQL之间的数据，timestamp和data类型字段会报错 问题 使用Hcatalog方式同步Hive和MySQL之间的数据，timestamp和data类型字段会报错： 回答 调整Sqoop源码包中的代码，将timestamp强制转换类型和Hive保持一致。
LISTEN查询tomcat的进程号。 执行kill -9 {pid}，其中{pid}为上一步中查询到的进程号。 等待进程自动重启，可以执行netstat -anp |grep 28443 |grep LISTEN查看进程是否启动，如果可以查到结果说明进程启动成功。 为各组件添加或修
选择“定制 > CPU和内存”，勾选“HiveServer内存使用率统计”，单击“确定”，查看HiveServer进程使用的堆内存是否已达到HiveServer进程设定的最大堆内存的阈值（默认95%）。 是，执行4。 否，执行7。 图1 勾选HiveServer内存使用率统计 在FusionInsight
主机D状态和Z状态进程数超过阈值 告警解释 系统每30秒周期性检测主机中omm用户D状态和Z状态进程数，并把实际进程数和阈值相比较。主机D状态和Z状态进程数默认提供一个阈值范围。当检测到进程数超出阈值范围时产生该告警。 平滑次数为1，主机中omm用户D状态和Z状态进程总数小于或等于阈
原因分析 在对HDFS的某个DataNode进行退服（或者对core节点进行缩容）过程中，因为Master节点重启或者nodeagent进程意外退出等情况出现，使得退服（或缩容）任务失败，并且没有进行黑名单清理。此时DataNode节点会一直处于退服中的状态，需要人工介入进行黑名单清理。
行真正删除。 可能原因二：“auto.create.topics.enable”配置为“true”，其他应用程序有使用该Topic，并且一直在后台运行。 解决方法： 针对原因一：配置页面上将“delete.topic.enable”设置为“true”。 针对原因二：先停掉后台使用该Topic的应用程序，或者“auto
行真正删除。 可能原因二：“auto.create.topics.enable”配置为“true”，其他应用程序有使用该Topic，并且一直在后台运行。 解决方法： 针对原因一：登录Manager，在Kafka配置页面上将“delete.topic.enable”设置为“true”。
查看NameNode日志“/var/log/Bigdata/hdfs/nn/hadoop-omm-namenode-主机名.log”，发现该文件一直在被尝试写，直到最终失败。 2015-07-13 10:05:07,847 | WARN | org.apache.hadoop.hdfs
使用root用户执行iotop命令，查看磁盘读写占用率高的进程，并根据实际情况判断该进程是否为无用进程。 是，执行以下命令停止无用进程。（PID可以在执行iotop命令后，按“P”键将TID切换为PID获取） kill -9 PID 否，执行8。 等待5分钟，检查该告警是否恢复。 是，处理完毕。
在HBase长时间运行场景下，操作系统会把JVM创建的“/tmp/.java_pid*”文件定期清理。因为HBase的内存监控使用了JVM的jinfo命令，而jinfo依赖“/tmp/.java_pid*”文件，当该文件不存在时，jinfo会执行kill -3将jstack信息打印到
--connect 指定JDBC连接的URL，格式为：jdbc:mysql://MySQL数据库IP地址:MySQL的端口/数据库名称。 --username 连接MySQL数据库的用户名。 -password 连接MySQL数据库的用户密码。命令中如果携带认证密码信息可能存在安全风险，
用户尝试收集大量数据到Driver端，如果Driver端的内存不足以存放这些数据，那么就会抛出OOM(OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。 解决措施： 如果用户需要在OOM场景下强制将应用退出，那么可以在启动Spark
以omm用户执行jmap -heap PID检查knox和executor进程内存使用情况，如果多次执行查看到老生代内存使用率为99.9%说明有内存溢出。 查询executor进程PID：netstat -anp | grep 8181 | grep LISTEN 查询knox进程PID：ps -ef|grep
用户尝试收集大量数据到Driver端，如果Driver端的内存不足以存放这些数据，那么就会抛出OOM(OutOfMemory)的异常，然后Driver端一直在进行GC，尝试回收垃圾来存放返回的数据，导致应用长时间挂起。 解决措施： 如果用户需要在OOM场景下强制将应用退出，那么可以在启动Spark
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
