检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Loader作业源连接配置说明 基本介绍 Loader作业需要从不同数据源获取数据时，应该选择对应类型的连接，每种连接在该场景中需要配置连接的属性。 本章节适用于MRS 3.x之前版本。 obs-connector 表1 obs-connector数据源连接属性 参数 说明 桶名
问题现象 连接Kafka报类找不到。 连接带Kerberos的Kafka，报认证错误。 SparkStreaming任务运行一段时间后开始报TOKEN过期问题。 原因分析 问题1：Spark提交任务默认不会加载kafka的相关包，所以需要在启动命令中增加--jars来指定对应kafka版本的jar包
Kafka连接ZooKeeper客户端时发生断链 问题现象 Kafka客户端连接ZooKeeper客户端时发生断链。 客户端日志出现报错“ Received event :disconnected::none: with disconnected Writer Zookeeper”。
DBService状态正常，组件无法连接DBService 问题背景与现象 上层组件连接DBService失败，检查DBService组件状态正常，两个实例状态也正常。 图1 DBService状态 原因分析 上层组件是通过dbservice.floatip连接的DBService。 在D
准备连接Kafka集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，用于验证应用程序运行。 场景一：准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager，选择“集群 > 概览 > 更多 > 下载客户端
应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。 场景一：准备本地Windows开发环境调测程序所需配置文件。
通过公网IP连接使用HDFS客户端报错 问题现象 通过公网IP连接主机，不能使用HDFS客户端，运行hdfs命令后提示“-bash: hdfs: command not found”。 原因分析 用户登录Master节点执行命令之前，未设置环境变量。 处理步骤 以root用户登录任意一个Master节点。
准备连接Kafka集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，用于验证应用程序运行。 场景一：准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager，选择“集群 > 概览 > 更多 > 下载客户端”（MRS
ALM-17010 Oozie连接HDFS状态异常 告警解释 Oozie会依赖HDFS，提交任务后系统会检测HDFS连接状态，当检测到与HDFS的连接状态连续3次异常时，产生该告警。 当检测到Oozie连接HDFS状态正常时，告警清除。 告警属性 告警ID 告警级别 是否可自动清除
网络连接超时导致FetchFailedException 问题 在380节点的大集群上，运行29T数据量的HiBench测试套中ScalaSort测试用例，使用以下关键配置（--executor-cores 4）出现如下异常： org.apache.spark.shuffle.F
准备Spark连接集群配置文件 准备集群认证用户信息 对于开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。 以下Spark2x权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群
创建LakeFormation数据连接 创建LakeFormation数据连接的功能，需要联系技术支持申请开通白名单。 登录MRS控制台，在导航栏选择“数据连接”。 单击“新建数据连接 ”。 参考表1配置相关参数，单击“确定”完成创建。 表1 配置LakeFormation数据连接 参数 说明 类型
实际为准。 元数据 选择“外置数据连接”，并配置以下参数： LakeFormation元数据：单击按钮开启。 LakeFormation连接实例：选择创建LakeFormation数据连接已创建的LakeFormation数据连接名称。 数据连接类型：保持默认。 例如，配置如下图
要在impala-shell后指定连接协议--protocol=beeswax。 Impala4.0.0之前版本，impala-shell客户端默认使用Beeswax的21000端口，若要连接21050端口，需要在impala-shell后指定连接协议--protocol=hs2。
ALM-17011 Oozie连接Yarn状态异常 告警解释 Oozie会依赖Yarn，提交任务后系统会检测Yarn连接状态，当检测到与Yarn的连接状态连续5次异常时，产生该告警。 当检测到Oozie连接Yarn状态正常时，告警清除。 告警属性 告警ID 告警级别 是否可自动清除
集群外节点提交Spark作业时报错无法连接Driver 问题现象 集群外节点和集群各个节点网络已经互通，在集群外节点使用client模式提交Spark任务到Yarn上，任务失败，报错信息为无法连接Driver。 原因分析 使用client模式提交Spark任务的时候，Spark的
连接postgresql或者gaussdb时报错 问题 连接postgresql或者gaussdb时报错。 回答 场景一：（import场景）使用sqoop import命令抽取开源Postgre到MRS HDFS或Hive等。 问题现象： 使用sqoop命令查询postgre表可以，但是执行sqoop
Shell客户端连接提示“authentication failed” 问题现象 安全集群中，HiveServer服务正常的情况下，Shell客户端中执行beeline命令失败，界面提示“authentication failed”，如下： Debug is true storeKey
准备Spark连接集群配置文件 进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。 场景一：准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager页面，选择“集群 > 概览 > 更多 > 下载客户端”，“选择
问： MRS节点访问OBS报错408，怎么办？ 答： MRS节点访问OBS报错408时，用户需要更换OBS域名。 修改OBS域名为myhuaweicloud.com后缀的域名即可。 父主题： 作业管理类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
