检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作系统用户缓存同步异常，进而导致组件业务故障。 可能原因 SlapdServer连接数过多。 告警阈值配置或者平滑次数配置不合理。 处理步骤 检查SlapdServer进程连接数是否过多。 登录FusionInsight Manager，选择“集群 > 服务 > LdapSer
当前FE处理能力不足，影响业务的查询速度。 可能原因 Doris集群并发业务过大，FE进程内存不足等导致Master FE的处理能力不足。 处理步骤 检查GC时间。 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，查看“告警ID”为“50211”的“
Doris部分特性和功能不可用，例如：冷热分离和Hive OBS Catalog等。 可能原因 获取的AK/SK失效。 连接OBS失败。 处理步骤 确认上报告警原因。 登录FusionInsight Manager，选择“运维 > 告警 > 告警”，选中“告警ID”为“50229”的
进程无法正常提供数据读写服务。 可能原因 该节点IoTDBServer实例堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，弹出告警页面，选中“告警ID”为“4
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务进程不可用。 可能原因 磁盘配置无法满足业务需求，磁盘使用率达到上限。 处理步骤 登录MRS Manager，查看该告警阈值是否不合理。 默认90%为合理值，用户可以根据自己的实际需求调节。 是，执行2。 否，执行1.b。
业务失败：主机网络写包丢包率超过阈值时，请求无法正常响应、超时，可能会导致作业运行失败。 可能原因 告警阈值配置不合理。 网络环境质量差。 处理步骤 检查阈值设置是否合理。 在FusionInsight Manager，选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机
确。 系统性能下降：大数据集群之间的网络互通异常会导致系统性能下降，影响整个数据处理的效率和质量。 可能原因 节点宕机。 网络故障。 处理步骤 确认网络健康状态。 打开FusionInsight Manager页面，在告警列表中，单击此告警所在行的，查看附加信息中的描述信息。明确
可能原因 对接第三方AD服务配置项错误 FusionInsight与第三方AD服务之间网络连接故障 AD服务器故障 AD服务故障 处理步骤 检查第三方AD配置。 在FusionInsight Manager页面，选择“系统 > 权限 > 第三方AD”，打开第三方AD配置页面。
计算资源（Yarn）不健康。 存储资源（HDFS）不健康。 存储资源（HDFS）部分不健康。 除Yarn与HDFS以外，关键角色不健康。 处理步骤 关闭容灾演练。 在FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 跨AZ高可用”，打开跨AZ高可用页面。
Spark常用配置参数 概述 本节介绍Spark使用过程中的常用配置项。以特性为基础划分子章节，以便用户快速搜索到相应的配置项。如果用户使用MRS集群，本节介绍的参数大部分已经适配好，用户无需再进行配置。少数需要用户根据实际场景配置的参数，请参见快速配置Spark参数。 配置Stage失败重试次数
MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下。 以HDFS文本文件为输入数据 log1.txt：数据输入文件
从零开始使用Spark 本章节提供从零开始使用Spark提交sparkPi作业的操作指导，sparkPi是最经典的Spark作业，它用来计算Pi（π）值。 操作步骤 准备sparkPi程序。 开源的Spark的样例程序包含多个例子，其中包含sparkPi。可以从https://archive.apache
MRS集群管理员已明确业务需求，并准备一个系统用户。 已开启Token认证机制，详细操作请参考Kafka服务端配置。 已安装Kafka客户端。 操作步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client
Python3样例工程 操作场景 为了运行MRS产品Hive组件的Python3接口样例代码，需要完成下面的操作。 该样例仅支持在Linux节点上运行。 操作步骤 客户端机器必须安装有Python3，其版本不低于3.6，最高不能超过3.8。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3
业务建表或数据读写等操作。 功能分解 根据上述的业务场景进行功能分解，需要开发的功能点如表2所示。 表2 在HBase中开发的功能 序号 步骤 代码实现 1 根据表1中的信息创建表。 请参见创建HBase表。 2 导入用户数据。 请参见插入HBase数据。 3 增加“教育信息”列
业务建表或数据读写等操作。 功能分解 根据上述的业务场景进行功能分解，需要开发的功能点如表2所示。 表2 在HBase中开发的功能 序号 步骤 代码实现 1 根据表1中的信息创建表。 请参见创建HBase表。 2 导入用户数据。 请参见向HBase表中插入数据。 3 增加“教育信
Python3样例工程 操作场景 为了运行MRS产品Hive组件的Python3接口样例代码，需要完成下面的操作。 该样例仅支持在Linux节点上运行。 操作步骤 客户端机器必须安装有Python3，其版本不低于3.6，最高不能超过3.8。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3
一致导致部分方法已经更改。 如果报错的是三方包里面的类，可能是因为Spark已经自带了相关的jar包，但是和代码中使用的版本不一致。 操作步骤 方案一： 针对jar包冲突的问题，可以确认是否不需使用三方工具的包，如果可以更改为集群相同版本的包，则修改引入的依赖版本。 建议用户尽量使用MRS集群自带的依赖包。
一致导致部分方法已经更改。 如果报错的是三方包里面的类，可能是因为Spark已经自带了相关的jar包，但是和代码中使用的版本不一致。 操作步骤 方案一： 针对jar包冲突的问题，可以确认是否不需使用三方工具的包，如果可以更改为集群相同版本的包，则修改引入的依赖版本。 建议用户尽量使用MRS集群自带的依赖包。
配置并导入Manager样例工程 操作步骤 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程文件夹“manager-examples”到本地。 在应用开发环境中，导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA，选择“File
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
