检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
处理步骤 使用具有创建CDL任务的用户或者具有管理员权限的用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警”,单击“告警ID”为“45617”所在行的,在“定位信息”中查看发生该告警的作业名称。 在告警列表中,查看是否存在该任务对应的“ALM-45616
查看告警信息。 登录FusionInsight Manager首页,选择“运维 > 告警 > 告警 > ALM-24014 MonitorServer证书文件即将过期 > 定位信息”。查看告警上报的实例的IP地址。 检查系统中合法证书文件的有效期,重新生成证书文件。 以root用户登录告警所在节点主机,并执行su
sink的类型发生变化:允许特定的几个sink的组合,具体场景需要验证确认,例如: File sink允许变更为kafka sink,kafka中只处理新数据。 kafka sink不允许变更为file sink。 kafka sink允许变更为foreach sink,反之亦然。 sin
sink的类型发生变化:允许特定的几个sink的组合,具体场景需要验证确认,例如: File sink允许变更为kafka sink,kafka中只处理新数据。 kafka sink不允许变更为file sink。 kafka sink允许变更为foreach sink,反之亦然。 sin
sink的类型发生变化:允许特定的几个sink的组合,具体场景需要验证确认,例如: File sink允许变更为kafka sink,kafka中只处理新数据。 kafka sink不允许变更为file sink。 kafka sink允许变更为foreach sink,反之亦然。 sin
告警”,查看“告警ID”为“19026”的告警的“定位信息”中上报该告警的服务名。 以客户端安装用户登录安装了HDFS客户端的节点,并执行以下命令: cd 客户端安装目录 source bigdata_env kinit 组件业务用户(若集群未启用Kerberos认证(普通模式),请跳过该操作) 执行以下命令查看损坏的WAL文件,并执行4。
告警”,查看“告警ID”为“19025”的告警的“定位信息”中上报该告警的服务名。 以客户端安装用户登录安装了HDFS和HBase客户端的节点,并执行以下命令: cd 客户端安装目录 source bigdata_env kinit 组件业务用户(若集群未启用Kerberos认证(普通模式),请跳过该操作) 查看损坏的StoreFile文件。
UI上,会发现某些executors的GC时间明显比其他executors高,或者所有的executors都表现出高GC时间。 处理步骤 登录Manager页面,选择“集群 > 服务 > Spark2x > 配置 > 全部配置”,在搜索框搜索“spark.executor.memory”,通过参数“spark
splits”参数可用于从服务端限定Hive任务的最大map数,避免HiveSever服务过载而引发的性能问题。 操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。 选择“MetaStore(角色) > 自定义”,对参数文件“hivemetastore-site
“机机”用户需要下载keytab文件,“人机”用户第一次登录时需修改密码。 非root用户使用HBase客户端,请确保该HBase客户端目录的属主为该用户,否则请参考如下命令修改属主。 chown user:group -R 客户端安装目录/HBase 使用HBase客户端(MRS 3.x之前版本) 安装客户端,具体请参考安装客户端章节。
此步骤)。 在4获取新建开发用户的krb5.conf和user.keytab文件后,修改presto.properties中的KerberosPrincipal为对应新建用户的principal,修改KerberosConfigPath为对应新建用户的krb5.conf文件路径,
umer5与Consumer6之间为负载均衡方式。如果消费者实例都属于不同的消费组,则消息会被广播给所有消费者。如上图中,Topic1中的消息,同时会广播到Consumer Group1与Consumer Group2中。 关于Kafka架构和详细原理介绍,请参见:https://kafka
通过JDBCServer接口创建UDF。用户可以通过Spark Beeline或者JDBC客户端代码来连接JDBCServer,从而执行SQL命令,创建UDF。 通过spark-sql创建UDF。 删除UDF失败,存在以下两种场景: 在Spark Beeline中,对于其他方式创建的UDF,
通过JDBCServer接口创建UDF。用户可以通过Spark Beeline或者JDBC客户端代码来连接JDBCServer,从而执行SQL命令,创建UDF。 通过spark-sql创建UDF。 删除UDF失败,存在以下两种场景: 在Spark Beeline中,对于其他方式创建的UDF,
阈值为C,Hive已经使用HDFS的空间大小为D。调整策略为A x B x C > D ,HDFS总存储空间可在HDFS NameNode页面查看,Hive已经使用HDFS的空间大小可在Hive的监控界面查看监控指标“Hive已经使用的HDFS空间大小”。 检查该告警是否恢复。 是,操作结束。
将存在连接泄露的进程关掉,观察界面上告警是否消除? 是,处理完毕。 否,执行1.l。 在MRS集群详情页面,单击“组件管理 > ZooKeeper > 服务配置 > 全部配置 > quorumpeer > Performance”中,将“maxCnxns”调整到20000或更多。 界面上告警是否消除? 是,处理完毕。
配置ClickHouse SQL防御规则 登录FusionInsight Manager,选择“集群 > SQL防御”,打开SQL防御页面。 参考添加MRS SQL防御规则添加针对ClickHouse的SQL防御规则。 ClickHouse SQL引擎支持的各类型SQL防御规则可参考MRS
和“结束时间”分别为告警产生时间的前后10分钟。打开日志文件查找“Result=FAIL”关键字筛选执行错误语句的日志信息,再根据日志信息中的“UserName”查看执行错误语句的用户。 输入正确的HiveQL语句,观察命令是否正确执行。 是,执行4.e。 否,执行2.a。 检查HBase服务是否异常。
异常。 处理步骤 检查ClickHouse业务压力是否过大 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的库名、表名、角色名以及确认主机名所在的IP地址。 以客户端安装用户,登录客户端的节点,执行如下命令: cd
Kafka集群IP端口号安全模式下是21007,普通模式下是9092。 异常情况处理 在使用Kafka均衡工具进行Partition迁移的过程中,如果出现集群中Broker故障导致均衡工具的执行进度阻塞,这时需要人工介入来恢复,分为以下几种场景: 存在Broker因为磁盘占有率达到100%导致Broker故障的情况。