检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检查时,检查当前系统中的证书文件是否已过期。如果服务端证书已过期,产生该告警。服务端证书恢复的有效期内,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24015 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
pid_max”最大可设置为: 32位系统:32768 64位系统:4194304(2的22次方) 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行2。 检查系统环境是否异常。 联系运维人员,检查操作系统是否存在异常。 是,恢复操作系统故障,执行2.b。 否,执行3。 等待5分钟,检查该告警是否恢复。
环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。 若运行“Spark on
环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。 若运行“Spark on
将PMS进程的内存配置参数“pms.mem”根据实际情况调大,保存并退出。 ... pms.mem=800m 修改的新值的增长量不能大于操作系统可用剩余内存。 执行以下命令查找PMS进程的PID,并终止PMS进程,等待进程重新启动。 ps -ef | grep pms kill -9
参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 非堆内存溢出可能导致服务崩溃。 可能原因 该节点PolicyS
当ClickHouse副本数大于1时,系统周期性对复制表进行检查,若数据不同步,则发送告警。副本间所有复制表数据同步后,告警清除。 告警属性 告警ID 告警级别 是否可自动清除 45440 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
Kafka Consumer消费数据丢失 问题背景与现象 用户将消费完的数据存入数据库,发现数据与生产数据不一致,怀疑Kafka消费丢数据。 可能原因 业务代码原因 Kafka生产数据写入异常 Kafka消费数据异常 解决办法 Kafka排查: 通过consumer-groups
MRS是否支持Hive on Kudu? 问: MRS是否支持Hive on Kudu? 答: MRS不支持Hive on Kudu。 目前MRS只支持两种方式访问Kudu: 通过Impala表访问Kudu。 通过客户端应用程序访问操作Kudu表。 父主题: 组件配置类
如何配置knox内存? 以root用户登录集群Master节点。 在Master节点执行如下命令打开gateway.sh文件。 su omm vim /opt/knox/bin/gateway.sh 将“APP_MEM_OPTS=""” 修改为 “APP_MEM_OPTS="-Xms256m
Spark与其他组件的关系 Spark和HDFS的关系 通常,Spark中计算的数据可以来自多个数据源,如Local File、HDFS等。最常用的是HDFS,用户可以一次读取大规模的数据进行并行计算。在计算完成后,也可以将数据存储到HDFS。 分解来看,Spark分成控制端(D
Flume开源增强特性 Flume开源增强特性 提升传输速度。可以配置将指定的行数作为一个Event,而不仅是一行,提高了代码的执行效率以及减少写入磁盘的次数。 传输超大二进制文件。Flume根据当前内存情况,自动调整传输超大二进制文件的内存占用情况,不会导致Out of Memory(OOM)的出现。
Flink与其他组件的关系 Flink与Yarn的关系 Flink支持基于Yarn管理的集群模式,在该模式下,Flink作为Yarn上的一个应用,提交到Yarn上执行。 Flink基于Yarn的集群部署如图1所示。 图1 Flink基于Yarn的集群部署 Flink Yarn C
重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名称。 Procedure信息 Procedure相关信息。 对系统的影响 Procedure任务执行失败,会影响任务操作一致性。 可能原因
这些临时文件: call clean_data(table => 'mytable', sql=>'delete cleanData') 系统响应 可在客户端中查看查询结果。 父主题: 数据管理维护
修改Kafka参数 修改完成后,单击左上方“保存”,在弹出的对话框中单击“确定”保存配置。 单击“概览”页签,选择右上方“更多 > 重启服务”重启Kafka服务。 以root用户登录集群主节点,将获取到的EFAK安装包kafka-eagle-bin-3.0.1.tar.gz放到集群目录下,例如“/opt”,执行以下命令解压。
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作,例如读文件、写文件等操作。 执行HDFS Shell的方法: 初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Ker
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 ZooKeeper可用内存不足,可能会造成内存溢出导致服务崩溃,导致上游业务(例如HDFS、Yarn等)运行失败。
是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 NameService名 产生告警的NameService名称。 对系统的影响 如果主NameNode数据目录的FsImage没有更