检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是，执行2.d。 否，执行3。 参考ALM-12007 进程故障（2.x及以前版本）的处理步骤处理该故障。 在告警列表中，查看“ALM-16004 Hive服务不可用”告警是否清除。 是，处理完毕。 否，执行3。 检查HDFS服务状态。 登录MRS集群详情页面，选择“告警管理”。
Source故障，导致数据无法发送。 网络故障，导致数据无法发送。 处理步骤 检查Flume Source是否故障。 确认Flume Source是否是spooldir类型。 是，执行1.b。 否，执行1.c。 查看设置的spoolDir目录，是否所有的文件均已传输完毕。 是，处理完毕。 否，执行1.e。 确认Flume
HDFS服务不可用”告警产生，服务列表中HDFS服务是否已停止。 是，如果有告警参考ALM-14000 HDFS服务不可用（2.x及以前版本）的处理步骤处理该故障；如果HDFS服务已停止，启动HDFS服务，执行1.g。 否，执行1.g。 确认Flume Sink是否是HBase类型。 是，执行1
根据对应服务不可用告警帮助提供的故障处理对应告警。 告警全部恢复后，等待几分钟，检查本告警是否恢复。 是，处理完毕。 否，执行2。 收集故障信息。 在MRS Manager界面，单击“系统设置 > 日志导出”。 请联系运维人员，并发送已收集的故障日志信息。 参考信息 无。 父主题： MRS集群告警处理参考
否，执行4。 等待30秒，查看告警是否恢复。 是，处理完毕。 否，执行4。 收集故障信息。 在MRS Manager界面，单击“系统设置 > 日志导出”。 请联系运维人员，并发送已收集的故障日志信息。 参考信息 无。 父主题： MRS集群告警处理参考
根据对应服务不可用告警帮助文档处理对应告警。 告警全部恢复后，等待几分钟，检查本告警是否恢复。 是，处理完毕。 否，执行2。 收集故障信息。 在MRS Manager界面，单击“系统设置 > 日志导出”。 请联系运维人员，并发送已收集的故障日志信息。 参考信息 无。 父主题： MRS集群告警处理参考
是，执行2。 否，执行4。 参考ALM-14001 HDFS磁盘空间使用率超过阈值进行处理，查看对应告警是否清除。 是，执行3。 否，执行11。 在“运维 > 告警 > 告警”页面查看本告警是否清除。 是，处理完毕。 否，执行4。 检查DataNode节点平衡状态。 在FusionInsight
DataNode磁盘空间使用率超过阈值进行处理，查看对应告警是否清除。 是，6。 否，7。 等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行7。 对DataNode进行扩容 对DataNode进行扩容。 等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行9。 收集故障信息
否，执行9。 分别参考ALM-12006 节点故障、ALM-12007 进程故障、ALM-14002 DataNode磁盘空间使用率超过阈值的处理步骤处理告警。 查看本告警是否恢复。 是，操作结束。 否，执行9。 收集故障信息。 在FusionInsight Manager首页，选择“运维
ver进程正常提供服务。 可能原因 该节点JobHistoryServer实例堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > ALM-18012 JobHi
程中，该节点上的读写请求时延会变大或者失败。 可能原因 该节点HBase服务堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。 处理步骤 检查堆内存使用率 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“告警ID”为“19008
HBase服务进程堆内存使用率超出阈值”告警。 是，参考ALM-19008 HBase服务进程堆内存使用率超出阈值处理告警。 否，执行8。 观察界面告警是否清除。 是，处理完毕。 否，执行8。 收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。
Spark应用开发常见问题 Spark接口介绍 Spark应用调优 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出
Hive常见问题 如何删除所有HiveServer中的永久函数 为什么已备份的Hive表无法执行drop操作 如何在Hive自定义函数中操作本地文件 如何强制停止Hive执行的MapReduce任务 Hive不支持复杂类型字段名称中包含哪些特殊字符 如何对Hive表大小数据进行监控
快速开发Spark应用 Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言的应用开发。 通常适用以下场景： 数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。 迭代计算（Iterative Computation）：
如何在Spark命令中指定参数值 问题 如果用户不希望在界面上或配置文件设置参数值，如何在Spark命令中指定参数值？ 回答 Spark的配置项，不仅可以在配置文件中设置，也可以在命令中指定参数值。 在Spark客户端，应用执行命令添加如下内容设置参数值，命令执行完成后立即生效。
ion作业是稳定的，实现单个Compaction task的稳定运行。但是Compaction整体的运行时长取决于本次Compaction处理文件数以及分配的cpu核数（并发能力），因此可以通过增加Compaciton作业的CPU核的个数来提升Compaction性能（注意增加cpu也要保证CPU与内存的比例）。
如何防止insert overwrite语句误操作导致数据丢失 问题 如何对重点目录进行保护，防止“insert overwrite”语句误操作导致数据丢失？ 回答 当用户要对Hive重点数据库、表或目录进行监控，防止“insert overwrite”语句误操作导致数据丢失时，可以利用Hive配置中的“hive
Spark2x如何访问外部集群组件 问题 存在两个集群：cluster1和cluster2，如何使用cluster1中的Spark2x访问cluster2中的HDFS、Hive、HBase和Kafka组件。 回答 可以有条件的实现两个集群间组件互相访问，但是存在以下限制： 仅允许访问一个Hive
executor内存不足导致查询性能下降 现象描述 在不同的查询周期内运行查询功能，查询性能会有起伏。 可能原因 在处理数据加载时，为每个executor程序实例配置的内存不足，可能会产生更多的Java GC（垃圾收集）。当GC发生时，会发现查询性能下降。 定位思路 在Spark
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
