检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
> 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 磁盘 > 磁盘inode使用率”修改阈值。 平滑次数为1,磁盘Inode使用率小于或等于阈值时,告警恢复;平滑次数大于1,磁盘Inode使用率小于或等于阈值的90%时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除
告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络状态 > TCP临时端口使用率”修改阈值。 平滑次数为1,TCP临时端口使用率小于或等于阈值时,告警恢复;平滑次数大于1,TCP临时端口使用率小于或等于阈值的90%时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除
可能原因 告警阈值配置或者平滑次数配置不合理。 CPU配置无法满足业务需求,CPU使用率达到上限。或业务处于高峰期,导致短期内CPU使用率达到上限。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。 基于实际CPU使用情况,修改告警阈值和平滑次数配置项。 登录FusionInsight
checkpointing.tolerable-failed-checkpoints Flink On Hudi作业建议设置Checkpoint容忍次数多次,如100。 父主题: Flink on Hudi开发规范
发生故障时作业会直接失败,不会尝试重启。 参数配置为: restart-strategy: none fixed-delay策略 发生故障时会尝试重启作业固定次数,如果超过了最大的尝试次数,作业最终会失败。并且在两次连续重启尝试之间,重启策略会等待固定的时间。 以配置若重启失败了3次则认为该Job失败,重试时间间隔为10s为例,参数配置为:
系统每30秒周期性检测磁盘使用率,并把磁盘使用率和阈值相比较。磁盘使用率有一个默认阈值,当检测到磁盘使用率超过阈值时产生该告警。 平滑次数为1,主机磁盘某一分区使用率小于或等于阈值时,告警恢复;平滑次数大于1,主机磁盘某一分区使用率小于或等于阈值的90%时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除
新申请container次数。默认值为Flink集群启动时TaskManager的数量。 5 否 yarn.application-attempts Application master重启次数,次数是计算在一个validity interval的最大次数,validity in
例如:如果CSV数据类似“2010\\10,test”,将这两列插入“String,int”类型时,因为“test”无法转换为int类型,表会将这条记录重定向到Bad Records中。但记录到Bad Records中的值为“2010\10”,Java会将原始数据中的“\\”转义为“\”。 父主题:
例如:如果CSV数据类似“2010\\10,test”,将这两列插入“String,int”类型时,因为“test”无法转换为int类型,表会将这条记录重定向到Bad Records中。但记录到Bad Records中的值为“2010\10”,Java会将原始数据中的“\\”转义为“\”。 父主题:
403-redirect-url web403页面,访问若遇到403错误,则会重定向到配置的页面。 - 是 jobmanager.web.404-redirect-url web404页面,访问若遇到404错误,则会重定向到配置的页面。 - 是 jobmanager.web.415-redirect-url
403-redirect-url web403页面,访问如果遇到403错误,则会重定向到配置的页面。 是 jobmanager.web.404-redirect-url web404页面,访问如果遇到404错误,则会重定向到配置的页面。 是 jobmanager.web.415-redirect-url
> Hive > 连接到HiveServer的session数占最大允许session数的百分比”修改阈值。 平滑次数为1,百分比指标小于或等于阈值时,告警恢复;平滑次数大于1,百分比指标小于或等于阈值的90%时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 16000 次要
d客户端也不会导致已提交的作业失败。但由于Map任务存在重试机制和推测执行机制;Reduce任务下载一个已运行完成的Map任务的数据失败次数过多时,Map任务也会被重新执行。如果此时BulkLoad客户端已经退出,则重试的Map任务会因为找不到partitioner文件而执行失败
d客户端也不会导致已提交的作业失败。但由于Map任务存在重试机制和推测执行机制;Reduce任务下载一个已运行完成的Map任务的数据失败次数过多时,Map任务也会被重新执行。 如果此时BulkLoad客户端已经退出,则重试的Map任务会因为找不到partitioner文件而执行失败,导致作业执行失败。
carbondata.core.memory.MemoryException: Not enough memory”异常? 回答 当执行器中此次数据查询和加载所需要的堆外内存不足时,便会发生此异常。 在这种情况下,请增大“carbon.unsafe.working.memory.in
carbondata.core.memory.MemoryException: Not enough memory”异常? 回答 当执行器中此次数据查询和加载所需要的堆外内存不足时,便会发生此异常。 在这种情况下,请增大“carbon.unsafe.working.memory.in
新申请container次数。默认值为Flink集群启动时TaskManager的数量。 5 否 yarn.application-attempts Application master重启次数,次数是算在一个validity interval的最大次数,validity int
告警解释 告警模块对Flume Channel的容量状态进行监控,当Channel满的时长超过阈值,或Source向Channel放数据失败的次数超过阈值后,系统发送告警。 用户可通过配置修改阈值:修改对应channel的“channelfullcount”参数。 当Flume Ch
Flume开源增强特性 Flume开源增强特性 提升传输速度。可以配置将指定的行数作为一个Event,而不仅是一行,提高了代码的执行效率以及减少写入磁盘的次数。 传输超大二进制文件。Flume根据当前内存情况,自动调整传输超大二进制文件的内存占用情况,不会导致Out of Memory(OOM)的出现。
告警解释 告警模块对Flume Channel的容量状态进行监控,当Channel满的时长超过阈值,或Source向Channel放数据失败的次数超过阈值后,系统即时上报告警。 默认阈值为10,用户可通过conf目录下的配置文件properties.properties修改阈值:修改