检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
原因分析 用户反馈已经排查了执行此命令的账号权限,此账号具有操作Kafka组件的最高权限,不应该仍然会有权限不足的问题。 经确认执行命令有问题,访问ZooKeeper上所存放的Kafka信息,其路径(Znode)应该加上/kafka,完整的查询命令应该是: root@Slave2bin]#
参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 出现该告警说明某些进程发生了crash。如果是关键进程发生crash,可能会导致集群短暂的不可用。 可能原因 相关进程发生crash。
// windowTime;为统计数据的窗口跨度,时间单位都是分。 object FlinkStreamScalaExample { def main(args: Array[String]) { // 打印出执行flink run的参考命令 System.out
在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于应用开发、运行、调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。 申请弹性IP,绑定新申请的ECS的IP,并配置安全组出入规则。
1、打包成Jar包,然后在客户端命令行上面进行提交 * 2、远程提交的时候,要先将该应用程序和其他外部依赖(非example工程提供,用户自己程序依赖)的jar包打包成一个大的jar包 * 3、再通过storm客户端中storm -jar的命令进行提交 * *
“Spark输出”算子,用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入:需要输出的字段 输出:SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储格式(目前支持四种格式:CSV、ORC、RC和PARQUET)。
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的Flink。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
当合并SummingMergeTree表的数据片段时,ClickHouse会把所有具有相同主键的行进行汇总,将同一主键的行替换为包含sum后的一行记录。 如果主键的组合方式使得单个键值对应于大量的行,则可以显著地减少存储空间并加快数据查询的速度。 AggregatingMergeTree
告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 影响任务执行和客户端连接FE。 可能原因
通过Manager参看Kafka服务是否处于正常状态,当前可用Broker是否小于设置的replication-factor。 检查客户端命令中ZooKeeper地址是否正确,访问ZooKeeper上所存放的Kafka信息,其路径(Znode)应该加上/kafka,发现配置中缺少/kafka。
出错误的一种,即线程栈的溢出,方法调用层次过多(比如存在无限递归调用)或线程栈太小都会导致此报错。 解决办法 通过调整mapreduce阶段的map和reduce子进程JVM参数中的栈内存解决此问题,主要涉及参数为mapreduce.map.java.opts(调整map的栈内存)和mapreduce
datasource接口更新Mor表,Upsert写入小数据量时可能触发更新数据的小文件合并,使在Mor表的读优化视图中能查到部分更新数据。 当update的数据对应的base文件是小文件时,insert中的数据和update中的数据会被合在一起和base文件直接做合并产生新的base文件,而不是写log。
内存不足导致HDFS NameNode启动失败 问题背景与现象 场景一:重启HDFS服务后,HDFS的状态为Bad,且NameNode实例状态异常,并且很久没有退出安全模式。 场景二:NameNode启动时,启动超时后启动失败,原生页面无法打开。 原因分析 在NameNode运行
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Task Failure Rate 产生告警的计算实例租户名和当前超过阈值的大小。 对系统的影响 HetuEngine计算实例任务失败率过高,会影响业务的正常运行,需及时排查问题并处理。
来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Threshold 产生告警的阈值。 对系统的影响 产生该告警表示HBase服务的znode的数量使用率已经严重超过规定的阈值,会导致HBase服务的写入请求失败。
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Threshold 产生告警的阈值。 对系统的影响 产生该告警表示HBase服务的znode的容量使用率已经超过规定的阈值,如果不及时处理,可能会导致问题级别升级为紧急,影响数据写入。
参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 挂载目录名 产生告警的挂载目录名。 设备分区名 产生告警的设备分区名。 对系统的影响 数据丢失:设备分区丢失,可能导致客户保存在这个分区上的数据丢失。 系统
Oozie任务运行需要依赖Share Lib中的原生Jar包,Share Lib由Oozie内核启动时自动上传到HDFS的“/user/oozie”目录下,当HDFS上的Share Lib损坏、缺失或Jar包冲突可能导致Oozie任务运行失败。 当用户提交的Oozie作业运行失败时,可以通过该工具对Share
告警级别 是否自动清除 24011 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Flume证书文件即将失效,对系统目前运行无影响。 可能原因 Flume证书文件即将到期。
告警级别 是否自动清除 24014 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 MonitorServer证书文件即将失效,对系统目前运行无影响。 可能原因 M