检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
网络连接超时导致FetchFailedException 问题 在380节点的大集群上，运行29T数据量的HiBench测试套中ScalaSort测试用例，使用以下关键配置（--executor-cores 4）出现如下异常： org.apache.spark.shuffle.FetchFailedException
创建FlinkServer数据连接 通过数据连接，访问不同的数据服务，当前FlinkServer支持HDFS、Kafka、Redis类型的数据连接。 创建FlinkServer数据连接步骤 访问Flink WebUI，请参考访问FlinkServer WebUI界面。 选择“系统管理
如何使用PySpark连接MRS Spark？ 问： 如何在ECS服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答： 将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials.hbase.enabled
准备Spark连接集群配置文件 进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。 场景一：准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager页面，选择“集群 > 概览 > 更多 > 下载客户端”，“选择客户端类型
准备连接Doris集群配置文件 准备集群认证用户信息 对于未开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。 以下Doris权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。 登录安装了MySQL客户端的节点，使用admin用户连接
准备连接Kafka集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，用于验证应用程序运行。 场景一：准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager，选择“集群 > 概览 > 更多 > 下载客户端”
准备连接Kafka集群配置文件 准备集群认证用户信息 对于开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。 以下Kafka权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群
ALM-45441 ZooKeeper连接断开 告警解释 系统每分钟检测一次ClickHouse和ZooKeeper的连接情况，如果检测连接失败，系统产生告警（告警原因为ZooKeeper连接异常）。如果连续3次检测连接失败，系统产生告警（告警原因为ZooKeeper连接断开）。
提交Spark任务时连接ResourceManager异常 问题背景与现象 连接ResourceManager异常，导致Spark任务提交失败。 原因分析 在Driver端打印异常如下，打印连接两个ResourceManager主备节点的26004端口均被拒绝： 15/08/19
Hive客户端执行SQL报错连接超时 现象描述 Hive客户端执行SQL失败，报错：Timed out waiting for a free available connection。 可能原因 DBService连接较多，获取连接超时。 操作步骤 客户端是否使用Spark-SQL
通过MRS客户端连接ZooKeeper报错 用户问题 MRS集群如何访问ZooKeeper？ 问题现象 在MRS的Master节点使用zkcli.sh访问ZooKeeper存在报错。 原因分析 用户使用的命令有误，造成报错的发生。 处理步骤 获取ZooKeeper的IP地址及端口信息
Ticket cache: FILE:/tmp/krb5cc_0 Default principal: xxx@HADOOP.COM Valid starting Expires Service principal ...
通过公网IP连接使用HDFS客户端报错 问题现象 通过公网IP连接主机，不能使用HDFS客户端，运行hdfs命令后提示“-bash: hdfs: command not found”。 原因分析 用户登录Master节点执行命令之前，未设置环境变量。 处理步骤 以root用户登录任意一个
Kafka连接ZooKeeper客户端时发生断链 问题现象 Kafka客户端连接ZooKeeper客户端时发生断链。 客户端日志出现报错“ Received event :disconnected::none: with disconnected Writer Zookeeper”
配置LakeFormation数据连接前准备 配置LakeFormation实例 登录华为云管理控制台，在左上角单击“”，选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 单击页面右上角“购买实例”，参考创建LakeFormation实例创建
ALM-17010 Oozie连接HDFS状态异常 告警解释 Oozie会依赖HDFS，提交任务后系统会检测HDFS连接状态，当检测到与HDFS的连接状态连续3次异常时，产生该告警。 当检测到Oozie连接HDFS状态正常时，告警清除。 告警属性 告警ID 告警级别 是否可自动清除
HBase ThriftServer连接样例程序 通过ThriftServer实例操作HBase表 通过ThriftServer实例向HBase表中写入数据 通过ThriftServer实例读HBase表数据 父主题： 开发HBase应用
Flume客户端无法连接服务端 问题现象 安装Flume客户端并设置Avro Sink与服务端通信，发现无法连接Flume服务端。 原因分析 服务端配置错误，监测端口启动失败，例如服务端Avro Source配置了错误的IP，或者已经被占用了的端口。 查看Flume运行日志： 2016
DBService状态正常，组件无法连接DBService 问题背景与现象 上层组件连接DBService失败，检查DBService组件状态正常，两个实例状态也正常。 图1 DBService状态 原因分析 上层组件是通过dbservice.floatip连接的DBService
Loader作业源连接配置说明 基本介绍 Loader作业需要从不同数据源获取数据时，应该选择对应类型的连接，每种连接在该场景中需要配置连接的属性。 本章节适用于MRS 3.x之前版本。 obs-connector 表1 obs-connector数据源连接属性 参数 说明 桶名
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
