检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
件。 当用户正在查看即将被回收的Spark应用时，可能会出现找不到“temp_shuffle”文件的错误，从而导致当前页面无法访问。 处理步骤 如果遇到上述问题，可参考以下两种方法解决。 重新访问这个Spark应用的HistoryServer页面，即可查看到正确的页面信息。 如果
可能会导致丢数据。 可能原因 部分Broker实例所在节点故障或者实例停止运行，导致Kafka中某些Partition的副本下线。 处理步骤 检查Broker实例。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka >
产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 已创建的用户在本节点无操作权限。 可能原因 扩容过程中已有节点停止或故障。 处理步骤 在FusionInsight Manager首页，选择“集群 > 服务 > ClickHouse > 实例”。 查看是否有停止、退服或故障的实例。
对系统的影响 业务进程响应缓慢或不可用。 可能原因 告警阈值配置或者平滑次数配置不合理。 CPU配置无法满足业务需求，CPU使用率达到上限。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。 登录MRS Manager，基于实际CPU使用情况，修改告警阈值和平滑次数配置项。 根据实际服务的使用情况在“系统设置
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务系统运行不正常或不可用。 可能原因 告警阈值配置不合理。 网口速率不满足当前业务需求。 处理步骤 检查阈值设置是否合理。 登录MRS Manager，查看该告警阈值是否不合理（默认80%为合理值，用户可以根据自己的实际需求调节）。 是，执行2。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务系统运行不正常或不可用。 可能原因 告警阈值配置不合理。 网口速率不满足当前业务需求。 处理步骤 检查阈值设置是否合理。 登录MRS Manager，查看该告警阈值是否合理（默认80%为合理值，用户可以根据自己的实际需求调节）。 是，执行4。
对系统的影响 当有脱离集群管控的DataNode时，可能造成数据丢失。 可能原因 强制删除主机后，该主机又上电恢复，进程被重新启动。 处理步骤 登录FusionInsight Manager页面，选择“运维 > 告警 > 告警”，查看该告警的详细信息，在附加信息中查看发生该告警的主机IP。
OBS数据读操作接口调用成功率小于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。 处理步骤 检查堆内存使用率。 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > OBS数据读操作接口调用成功率
运行失败或者数据结果不正确。 该工具用于对常见的非文本类的数据文件格式进行异常排查。 该章节内容仅适用MRS 3.2.0及之后版本。 操作步骤 使用omm用户登录安装了Hive服务的节点，执行以下命令进入Hive安装目录。 cd ${BIGDATA_HOME}/FusionIns
subscribe(java.util.Collection<java.lang.String> topics) Topic订阅接口方法。 ConsumerRecords<K,V> poll(final Duration timeout) 请求获取消息接口方法。 父主题： Kafka常用API介绍
查看Oozie应用调测结果 操作场景 Oozie样例工程运行完成后可以通过控制台查看输出结果。 操作步骤 控制台显示运行结果会有如下成功信息： log4j:WARN No appenders could be found for logger (com.huawei.hadoop
操作场景 用户需要将大量数据从集群外导入集群内的时候，可以选择从OBS导入到HDFS的方式。 前提条件 已准备业务数据。 已创建分析集群。 操作步骤 将业务数据上传到用户的OBS文件系统。 获取用户的AK/SK信息，然后创建一个OBS连接和一个HDFS连接。 具体可参见Loader连接配置说明。
准备MapReduce应用运行环境 MapReduce的运行环境可以部署在Linux环境下。您可以按照如下操作完成运行环境准备。 操作步骤 确认服务端YARN组件和MapReduce组件已经安装，并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 客户端机器的时间与H
查看Oozie应用调测结果 操作场景 Oozie样例工程运行完成后可以通过控制台查看输出结果。 操作步骤 控制台显示运行结果会有如下成功信息： log4j:WARN No appenders could be found for logger (com.huawei.hadoop
0及之前版本，可能在执行操作前执行了配置环境变量的命令（例如source bigdata_env），或修改了环境变量。3.2.0之后版本已修复该问题。 处理步骤 以omm用户通过主管理节点IP登录主管理节点。 执行以下命令查看执行结果是否为“/usr/bin/openssl”。如果不是请修改ope
ZooKeeper可用内存不足，可能会造成内存溢出导致服务崩溃。 可能原因 该节点ZooKeeper实例内存使用量过大，或分配的内存不合理，导致使用量超过阈值。 处理步骤 检查内存使用量。 在MRS集群详情页面，单击“告警管理 > 13002连接数不足 > 定位信息”。查看告警上报的实例的ip。 在MRS集群详情页面，单击“组件管理
安全认证和用户管理功能，可能引起无法登录Manager和组件的WebUI。 可能原因 Manager中LdapServer进程故障。 处理步骤 检查Manager中LdapServer进程是否正常。 以omm用户登录集群中的Manager所在节点主机。 可以通过登录FusionInsight
SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用streamBulkPut接口将流数据写入Hbase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在HB
前提条件 已安装集群客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 操作步骤 以客户端安装用户，登录安装客户端的节点。 执行su - omm命令，切换到omm用户。 执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient
是当Job对应的Yarn任务异常退出时，这些临时文件不会被清理，长时间积攒导致该临时目录下的文件数量越来越多，占用存储空间越来越多。 处理步骤 登录集群客户端。 以root用户登录任意一个Master节点，用户密码为创建集群时用户自定义的密码。 如果集群开启Kerberos认证，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
