检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
t").getOrCreate() # 创建表示来自kafka的input lines stream的DataFrame # 安全模式要修改spark/conf/jaas.conf和jaas-zk.conf为KafkaClient lines = spark.readStream
连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级操作，Connection是线程安全的，因此，多个客户端线程可以共享一个Connection。 典型的用法，一个客户端程序共享一个单独的Connection，每一个线程获取自
“操作”列中选择“更多 >下载认证凭据”下载，保存后解压得到用户的user.keytab文件与krb5.conf文件，用于在样例工程中进行安全认证，如5.2.6-准备kerberos认证所示。 图1 下载认证凭据 父主题： 准备MapReduce应用开发环境
均以实际安装的补丁号为准。 例如： cd /opt/Bigdata/patches/MRS_3.2.0-LTS.1.9/client/ 安全集群需要认证对HDFS有权限的用户，普通集群无需执行： kinit {用户} 执行以下命令进行回退（卸载完补丁后执行）: sh rollback_hdfs_file
则推荐使用“Nullify”脱敏策略。 对于不支持的数据类型，如果配置了脱敏策略或输出列涉及脱敏传递，最终都按“Nullify”脱敏策略处理。 配置Spark动态脱敏 修改JDBCServer实例配置，登录FusionInsight Manager页面，选择“集群 > 服务 >
同时为弹性云服务分配足够的磁盘空间，例如“40GB”。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器操作系统已安装NTP服务，且NTP服务运行正常。 如果未安装，在配置了yum源的情况下，可执行yum
进而影响Storm任务提交。 可能原因 该节点Storm Nimbus实例堆内存使用量过大，或分配的堆内存不合理，导致使用量超过阈值。 处理步骤 检查堆内存使用量。 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 >Storm Nimbus堆内存使用率超过阈值
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 内存使用过高，部分查询任务可能因为内存不足而失败。 可能原因 Impalad进程正在执行较大量查询任务。 处理步骤 在FusionInsight Manager首页，选择“运维 > 告警 > 阈值设置 > Impala > CPU和内存 > Imp
系统当前指标取值满足自定义的告警设置条件 对系统的影响 查询可能会阻塞甚至失败。 可能原因 该Impalad服务维护的查询数量过多，或者阈值设定的太小。 处理步骤 在FusionInsight Manager首页，选择“运维 > 告警 > 阈值设置 > Impala > 查询任务总数统计 > 提交中的查询总数”，检查阈值大小。
影响该Broker正常提供读写服务。 可能原因 该节点Kafka实例直接内存使用率过大，或配置的直接内存大小不合理，导致使用率超过阈值。 处理步骤 检查Kafka实例直接内存使用率。 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > Kafka直接内存使用率超过阈值
运行状态和日志来确定问题原因，是Flink作业级别的告警，对FlinkServer本身没有影响。 可能原因 失败原因可在具体日志中查看。 处理步骤 使用具有FlinkServer管理操作权限的用户登录Manager。 选择“集群 > 服务 > Yarn”，单击“ResourceManager
图1 设置告警阈值 等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行4。 检查网络是否异常。 联系网络管理员，检查网络是否存在异常。 是，恢复网络故障，执行5。 否，执行6。 等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行6。 收集故障信息。 在主集群的FusionInsight
对系统的影响 业务失败：文件系统无法正常写入时，如果需要修改或使用该磁盘上的数据，可能会导致作业运行失败。 可能原因 磁盘写入的小文件过多。 处理步骤 磁盘写入的小文件过多。 打开FusionInsight Manager页面，选择“运维 > 告警 > 告警”，单击此告警所在行的，获取告警所在主机地址和磁盘分区。
否，执行11。 等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行12。 检查系统环境是否异常。 联系操作系统管理员，检查操作系统是否存在异常。 是，恢复操作系统故障，执行13。 否，执行14。 等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行14。 收集故障信息。 在主集群的FusionInsight
否，请联系运维人员进行处理。 等待5分钟后，在Manager页面选择“运维 > 告警 > 告警”页签，查看该告警是否清除。 是，处理完毕。 否，请联系运维人员进行处理。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 不涉及。 父主题： MRS集群告警处理参考
甚至造成内存溢出导致Hive服务不可用。 可能原因 该节点Hive实例直接内存使用量过大，或分配的直接内存不合理，导致使用率超过阈值。 处理步骤 检查直接内存使用率。 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“告警ID”为“160
er”。 是，执行3。 否，执行5。 参考ALM-12007 进程故障的处理步骤处理该故障。 在告警列表中，查看“ALM-16047 HiveServer已从Zookeeper注销”告警是否清除。 是，处理完毕。 否，执行5。 检查Hive相关配置修改是否正确。 在FusionInsight
Tez或者Spark库路径不存在，会影响Hive on Tez，Hive on Spark功能。 可能原因 Tez或者Spark在HDFS上库路径被删除。 处理步骤 检查Tez和Spark库路径。 以root用户登录客户端所在节点，用户密码为安装前用户自定义，请咨询系统管理员。 执行以下命令，检查
直接内存溢出可能导致服务崩溃，服务崩溃后无法使用Oozie服务调度任务。 可能原因 该节点Oozie实例直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。 处理步骤 检查直接内存使用率。 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > Oozie直接内存使用率超过阈值
KrbServer服务不可用”告警产生。 是，执行4。 否，执行5。 参考ALM-25500 KrbServer服务不可用的处理步骤处理故障后，检查本告警是否恢复。 是，处理完毕。 否，执行5。 检查Zookeeper服务状态。 在FusionInsight Manager的告警列表中，查看是否有“ALM-13000
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
