检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
threshold,默认50000微秒),则发送告警。当作业RocksDB的MemTable大小小于或等于用户配置的阈值,则告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 45643 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 应用名 产生告警的应用名称。
默认值 dfs.datanode.drop.cache.behind.reads 表示是否让DataNode将在缓冲区中的数据传递给客户端后自动清除缓冲区中的所有数据。 true:表示丢弃缓存的数据(需要在DataNode中配置)。 当同一份数据,重复读取的次数较少时,建议设置为true,使得缓存能够被其他操作使用。
其记录下来。在集群恢复正常后,重新将其写入到HBase数据表中。 另外,有一点需要注意:HBase Client返回写入失败的数据,是不会自动重试的,仅仅会告诉接口调用者哪些数据写入失败了。对于写入失败的数据,一定要做一些安全的处理,例如可以考虑将这些失败的数据,暂时写在文件中,或者,直接缓存在内存中。
compressionCodecClass) 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中,spark把每条记录都转换为一行记录,然后写到file中。 saveAsSequenceFile(path, compressionCodecClass=None)
igdata/audit/storm/logviewer”(审计日志) 日志归档规则:Storm的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过10MB的时候会自动压缩,压缩后的日志文件名规则为:“<原有日志名>.log.[编号].gz”。默认最多保留最近的20个压缩文件
用户可通过“系统设置 > 阈值配置”修改阈值。 当Supervisor数量大于或等于阈值时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 26052 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。
hoodie.datasource.hive_sync.partition_extractor_class 用于提取Hudi分区列值,将其转换成Hive分区列。 org.apache.hudi.hive.SlashEncodedDayPartitionValueExtractor
“/var/log/Bigdata/audit/dbservice/”(审计日志目录)。 日志归档规则:DBService的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过1MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>_<编号>.gz”。最多保留最近的20个压缩文件。 日志归档规则用户不能修改。
UserSync“/var/log/Bigdata/ranger/usersync”(运行日志)。 日志归档规则:Ranger的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过20MB的时,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log
“/var/log/Bigdata/audit/dbservice/”(审计日志目录)。 日志归档规则:DBService的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过1MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>_<编号>.gz”。最多保留最近的20个压缩文件。 日志归档规则用户不能修改。
saveAsTextFile(path: String): Unit 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中,spark把每条记录都转换为一行记录,然后写到file中。 saveAsSequenceFile(path: String, codec: Option[Class[_
CompressionCodec> codec) 把dataset写到一个text file、hdfs、或者hdfs支持的文件系统中,spark把每条记录都转换为一行记录,然后写到file中。 java.util.Map<K,Object> countByKey() 对每个key出现的次数做统计。
saveAsTextFile(path: String): Unit 把dataset写到一个text file、HDFS或者HDFS支持的文件系统中,spark把每条记录都转换为一行记录,然后写到file中。 saveAsSequenceFile(path: String, codec: Option[Class[_
告警模块按30秒周期检测HBase服务状态。当HBase服务不可用时产生该告警。 HBase服务恢复时,告警清除。 告警属性 告警ID 告警级别 可自动清除 19000 致命 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。
系统每30秒周期性检测Spark服务状态,当检测到Spark服务不可用时产生该告警。 Spark服务恢复时,告警清除。 告警属性 告警ID 告警级别 可自动清除 28001 致命 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。
系统每60秒周期性检测Spark服务状态,当检测到Spark服务不可用时产生该告警。 Spark服务恢复时,告警清除。 告警属性 告警ID 告警级别 可自动清除 43001 致命 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。
KafkaUI:“/var/log/Bigdata/kafka/ui”(运行日志) 日志归档规则:Kafka的日志启动了自动压缩归档功能,默认情况下,当日志大小超过30MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log
CDLConnector:“/var/log/Bigdata/cdl/connector”(运行日志)。 日志归档规则:CDL日志启动了自动压缩归档功能,缺省情况下,当日志大小超过50MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>.<yyyy-mm-dd_hh-mm-ss>.[编号].log
待操作集群的名称 > HDFS”修改阈值。 当HDFS NameNode非堆内存使用率小于或等于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14018 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
的IO使用率大于80%。 那么,在过载磁盘上的Partition占比等于2/3,大于40%,触发告警。 告警属性 告警ID 告警级别 是否自动清除 38009 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。