检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备MapReduce开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
默认取值： 不涉及 cool_down_minutes 是 Integer 参数解释： 触发弹性伸缩规则后，该集群处于冷却状态（不再执行弹性伸缩操作）的时长，单位为分钟。 约束限制： 不涉及 取值范围： 0-10080。10080为一周的分钟数。 默认取值： 不涉及 scaling_adjustment
准备本地应用开发环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，推荐Windows 7以上版本。 运行环境：Windows或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
nectApacheZk”方法。 使用“testConnectHive”方法访问FusionInsight ZooKeeper前需执行如下操作： 修改JDBCExample中“init”方法中的“USER_NAME”参数的值。“USER_NAME”对应的用户用于访问FusionInsight
nectApacheZk”方法。 使用“testConnectHive”方法访问FusionInsight ZooKeeper前需执行如下操作： 修改JDBCExample中“init”方法中的“USER_NAME”参数的值。“USER_NAME”对应的用户用于访问FusionInsight
-r -f -skipTrash obs://<obs_path> 登录集群其他Master节点，执行2~4，直到集群所有Master节点操作完成。 父主题： 使用HDFS
在进行二次开发时，要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。 表1 开发环境 准备项 说明 操作系统 Windows系统，推荐Windows 7及以上版本。 安装JDK 开发环境的基本配置。版本要求：1.8及以上。 安装和配置Eclipse
Flume Client端与Flume Server端网络故障。 Flume Client端进程故障。 Flume Client端配置错误。 处理步骤 检查Flume Client与Flume Server的网络状况。 登录告警定位参数中描述的Flume ClientIP所在主机，执行以下命令切换root用户。
Source持续读取不到数据，数据采集会停止。 可能原因 Flume Source故障，导致数据无法发送。 网络故障，导致数据无法发送。 处理步骤 检查Flume Source是否故障。 确认Flume Source是否是spooldir类型。 是，执行1.b。 否，执行1.c。 查
指明工程使用的“user.keytab”在运行样例的主机上的保存路径，使用绝对路径便于更好定位文件位置。在Windows环境和Linux环境下配置时需注意区分不同操作系统路径书写方式，即“\\”与“\”差异。 [6] Client：第三方ZooKeeper使用该配置进行访问连接，具体连接认证配置由第三方ZooKeeper版本决定。
org/docs/build/html/topics/impala_config_performance.html 新建表，新增分区等表结构变动操作后，执行Invalidate metadata <table>, 在数据入库/湖后，对于发生变化的表/分区进行主动refresh更新impala元数据
可能会影响弹性扩缩容性能。 tomcat等端口被占用时，会影响Manager页面登录、查看功能。 可能原因 随机端口范围配置被修改。 处理步骤 检查系统当前的随机端口范围。 打开FusionInsight Manager页面，在告警列表中，单击此告警所在行的，查看该告警的主机地址。
可能原因 该节点Mapreduce JobHistoryServer实例堆内存使用量过大，或分配的堆内存不合理，导致使用量超过阈值。 处理步骤 检查堆内存使用率。 登录MRS集群详情页面，选择“告警管理”。 选中“告警ID”为“18009”的告警，查看“定位信息”中的实例的IP地址及角色名。
la和Python两种语言。在Spark目录下，执行./bin/spark-shell即可进入Scala交互式界面从HDFS中获取数据，再操作RDD。 示例：一行代码可以实现统计一个文件中所有单词。 scala> sc.textFile("hdfs://10.96.1.57:9000//wordcount_data
可能原因 对接第三方AD服务配置项错误 FusionInsight与第三方AD服务之间网络连接故障 AD服务器故障 AD服务故障 处理步骤 检查第三方AD配置。 在FusionInsight Manager页面，选择“系统 > 权限 > 第三方AD”，打开第三方AD配置页面。
准备HDFS应用开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Windows或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
默认取值： 不涉及 cool_down_minutes 是 Integer 参数解释： 触发弹性伸缩规则后，该集群处于冷却状态（不再执行弹性伸缩操作）的时长，单位为分钟。 约束限制： 不涉及 取值范围： 0-10080。10080为一周的分钟数。 默认取值： 不涉及 scaling_adjustment
la和Python两种语言。在Spark目录下，执行./bin/spark-shell即可进入Scala交互式界面从HDFS中获取数据，再操作RDD。 示例：一行代码可以实现统计一个文件中所有单词。 scala> sc.textFile("hdfs://10.96.1.57:9000//wordcount_data
对系统的影响 如果数据库异常，所有Manager的核心业务和相关业务进程（例如告警和监控入库、查询的功能）都会受影响。 可能原因 数据库异常。 处理步骤 检查主备管理节点的数据库状态。 以root用户分别登录主备管理节点，用户密码为安装前用户自定义，请咨询系统管理员，执行su - ommd
ZooKeeper可用内存不足，可能会造成内存溢出导致服务崩溃。 可能原因 该节点ZooKeeper实例内存使用量过大，或分配的内存不合理，导致使用量超过阈值。 处理步骤 检查内存使用量。 在MRS集群详情页面，单击“告警管理 > 13002连接数不足 > 定位信息”。查看告警上报的实例的ip。 在MRS集群详情页面，单击“组件管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
