检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume正常连接Kafka后发送消息失败 问题现象 使用MRS版本安装集群,主要安装ZooKeeper、Flume、Kafka。 在使用Flume向Kafka发送数据功能时,发现Flume发送数据到Kafka失败。 可能原因 Kafka服务异常。 Flume连接Kafka地址错误,导致发送失败。
置文件。 登录FusionInsight Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“完整客户端”,根据待安装客户端节点的节点类型选择正确的平台类型后单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例
ALM-17011 Oozie连接Yarn状态异常 告警解释 Oozie会依赖Yarn,提交任务后系统会检测Yarn连接状态,当检测到与Yarn的连接状态连续5次异常时,产生该告警。 当检测到Oozie连接Yarn状态正常时,告警清除。 告警属性 告警ID 告警级别 是否可自动清除
Kafka连接ZooKeeper客户端时发生断链 问题现象 Kafka客户端连接ZooKeeper客户端时发生断链。 客户端日志出现报错“ Received event :disconnected::none: with disconnected Writer Zookeeper”。
创建LakeFormation数据连接 创建LakeFormation数据连接的功能,需要联系技术支持申请开通白名单。 登录MRS控制台,在导航栏选择“数据连接”。 单击“新建数据连接 ”。 参考表1配置相关参数,单击“确定”完成创建。 表1 配置LakeFormation数据连接 参数 说明 类型
ALM-17010 Oozie连接HDFS状态异常 告警解释 Oozie会依赖HDFS,提交任务后系统会检测HDFS连接状态,当检测到与HDFS的连接状态连续3次异常时,产生该告警。 当检测到Oozie连接HDFS状态正常时,告警清除。 告警属性 告警ID 告警级别 是否可自动清除
通过公网IP连接使用HDFS客户端报错 问题现象 通过公网IP连接主机,不能使用HDFS客户端,运行hdfs命令后提示“-bash: hdfs: command not found”。 原因分析 用户登录Master节点执行命令之前,未设置环境变量。 处理步骤 以root用户登录任意一个Master节点。
> ZooKeeper”,单击“资源”进入资源页面,在表“连接数(按客户端IP)”中查看告警对应客户端IP的连接数是否较大。 是,执行3。 否,执行4。 请确认并排查该客户端是否存在进程连接泄露的情况。 单击“连接数(按客户端IP)”中的,进入“阈值设置”页面,单击“操作”下的“修改”。参考“集群
该命令仅支持交互模式。 help 查看工具帮助信息。 set 设置服务端属性。 show 显示服务属性和Loader所有元数据信息。 create 创建连接器和作业。 update 更新连接器和作业。 delete 删除连接器和作业。 clone 复制连接器和作业。 start 启动作业。
网络连接超时导致FetchFailedException 问题 在380节点的大集群上,运行29T数据量的HiBench测试套中ScalaSort测试用例,使用以下关键配置(--executor-cores 4)出现如下异常: org.apache.spark.shuffle.F
使用MySQL客户端连接Doris Doris支持MySQL协议,所以大部分支持MySQL协议的客户端都可以访问Doris,包括命令行或者IDE,例如MariaDB、DBeaver、Navicat for MySQL等。 本操作以安装MySQL 8.0.22客户端连接Doris为例进行演示。
连接postgresql或者gaussdb时报错 问题 连接postgresql或者gaussdb时报错。 回答 场景一:(import场景)使用sqoop import命令抽取开源postgre到MRS hdfs或hive等。 问题现象: 使用sqoop命令查询postgre表可以,但是执行sqoop
60000, null); ZooKeeper连接使用完后需要关闭连接,否则可能导致连接泄露。可根据业务实际情况进行处理,代码如下: //使用try-with-resources方式,try语句执行完后会自动关闭ZooKeeper连接。 try (org.apache.zookeeper
通过MRS客户端连接ZooKeeper报错 用户问题 MRS集群如何访问ZooKeeper? 问题现象 在MRS的Master节点使用zkcli.sh访问ZooKeeper存在报错。 原因分析 用户使用的命令有误,造成报错的发生。 处理步骤 获取ZooKeeper的IP地址及端口
Flume客户端无法连接服务端 问题现象 安装Flume客户端并设置Avro Sink与服务端通信,发现无法连接Flume服务端。 原因分析 服务端配置错误,监测端口启动失败,例如服务端Avro Source配置了错误的IP,或者已经被占用了的端口。 查看Flume运行日志: 2016-08-31
在Loader页面,单击“新建作业”。 在“连接”后单击“添加”,配置连接参数。 参数介绍具体可参见Loader连接配置说明。 单击“确定”。 如果连接配置,例如IP地址、端口、访问用户等信息不正确,将导致验证连接失败无法保存。 用户可以直接单击“测试”立即检测连接是否可用。 查看连接 在Loader页面,单击“新建作业”。
开源confluent-kafka-go连接MRS安全集群 用户问题 开源confluent-kafka-go如何连接MRS的安全集群? 问题现象 开源confluent-kafka-go连接MRS的安全集群失败。 原因分析 confluent-kafka-go依赖的库librd
前提条件 已安装并配置Loader客户端,具体操作请参见使用客户端运行Loader作业。 操作步骤 使用安装客户端的用户登录客户端所在节点。 执行以下命令,进入Loader客户端的loader-tool工具目录。例如,Loader客户端安装目录为“/opt/client/Loader/”。
12 more 原因分析 业务量大导致连接HiveServer单个节点最大连接数超过了200,需要调大连接HiveServer实例的最大连接数。 解决办法 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive >
HBase ThriftServer连接样例程序 通过ThriftServer实例操作HBase表 通过ThriftServer实例向HBase表中写入数据 通过ThriftServer实例读HBase表数据 父主题: 开发HBase应用