检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
期使用增加成本。 应用场景 提取结构化的数据,方便后续检索分析,生成仪表盘等。 日志减肥瘦身,节约后续使用成本。丢弃不需要的日志数据,节约存储成本、流量成本。 敏感数据脱敏,例如:将用户的身份证、手机号码脱敏。 日志分类投递,例如:按照日志级别:ERROR、WARNING、INFO
消费组的基本构成单元,承担消费任务,可以根据您的服务自行决定消费者数量。 Shard 云日志服务将数据必定保存在某一个Shard中,是数据存储的基本单元。 CheckPoint 消费点位,是消费者消费到的最新位置。程序重启后,SDK会自动通过CheckPoint恢复上次的消费进度。
OnProject" 源日志流 当前账号 选择已完成结构化配置的日志组、日志流,即表示源日志组、日志流中的日志内容通过DSL加工处理后,将存储到目标日志流中。 其他账号 填写委托名称、委托人账号名称,选择日志组和日志流。关于委托信息请参考创建委托。 目标日志流 单击“添加目标日志
路径方式采集到LTS,只能通过配置节点文件路径方式采集到LTS。 Docker存储驱动限制:容器文件日志采集目前仅支持overlay2存储驱动,不支持devicemapper作为存储驱动的节点。查看存储驱动类型,请使用如下命令: docker info | grep "Storage
log_group_name String 日志组名称。 log_group_id String 日志组ID。 ttl_in_days Integer 日志存储时间(天)。 tag Map<String,String> 日志组标签。 状态码: 401 表5 响应Body参数 参数 参数类型 描述 error_code
deleteLogStreamStructConfig 创建快速分析 wordFreqConfig updateWordFreqConfig 存储日志路径配置 path addLogPath 添加统计规则 rule addRuleStatistics 修改统计规则 rule updateRuleStatistics
time_floor(__time,'PT5M') as \"time\",avg(\"metric.cpu_usage\") as \"CPU占用率\" from log where report_topic = 'icagent_status' and \"metric.cpu_usage\"
NOT 字段 : *。 当字段为float或long类型时,单击null添加到搜索框中将显示为NOT 字段 : *。 未开启快速分析期间,不会存储分析所用的列存数据,分析结果对应为null,此时查询日志没有实际含义,不一定能匹配到日志。 前提条件 快速分析的对象为结构化日志中提取的关
以下是一些常见的方法用于找到Kafka的系统日志文件位置: 查看Kafka安装目录。 首先,检查Kafka的安装目录。通常,系统日志文件会存储在安装目录下的一个名为logs的子目录中。例如,如果Kafka安装在/usr/local/kafka,则日志文件可能位于/usr/local/kafka/logs。
单击操作列下的,删除不需要转储的字段。 单击,添加您需要转储的字段。 表普通列映射和表分区列映射添加表字段的总数为创建表的总列数。 - 表分区列映射 存储时根据设置的字段值进行分区。将内置字段以及日志中配置的结构化字段和类型,映射到数据库表字段。 说明: 内置字段有13个,分别是hostIP、
路径方式采集到LTS,只能通过配置节点文件路径方式采集到LTS。 Docker存储驱动限制:容器文件日志采集目前仅支持overlay2存储驱动,不支持devicemapper作为存储驱动的节点。查看存储驱动类型,请使用如下命令: docker info | grep "Storage
LTS的日志流ID。 log_time_ns 是 Long 日志数据采集时间,UTC时间(纳秒)。 说明: 采集时间需在日志存储时间范围之内,否则上报日志会被删除。比如日志组的日志存储时间是7天,则此参数不应早于当前时间的7天前。 contents 是 Array of String 日志内容。
参数来设置,单位是微秒。 慢查询日志的最大长度(即可以保存的慢查询记录数)可以通过 slowlog-max-len 参数来设置。 慢查询日志存储在内存中,不会写入磁盘文件。但您可以使用Redis命令SLOWLOG来查看和获取慢查询日志的内容。 采集方法 使用ICAgent采集日志,
分组。 (?:exp):表示不捕获分组,该分组只在当前位置匹配文本,在该分组之后,无法引用该分组,因为该分组没有分组名,没有分组号,也不会占用分组编号。 分词符指将日志内容切分为多个单词的符号,默认分词符包括, '";=()[]{}@&<>/:\\?\n\t\r,在日志搜索或者对
分组。 (?:exp):表示不捕获分组,该分组只在当前位置匹配文本,在该分组之后,无法引用该分组,因为该分组没有分组名,没有分组号,也不会占用分组编号。 分词符指将日志内容切分为多个单词的符号,默认分词符包括, '";=()[]{}@&<>/:\\?\n\t\r,在日志搜索或者对
和日志流。 目标日志流:单击“添加目标日志流”,填写目标日志流名称(目标日志流在数据加工函数中作为入参时的代称),选择日志组和日志流,用于存储通过DSL加工处理后的日志。 加工范围:数据加工的时间范围,本示例选择“所有”:从源日志流按收到第一条日志的时间开始数据加工任务,直到加工任务被手动停止。
参数类型 描述 log_stream_name 是 String 需要创建的日志流名称。 ttl_in_days 否 Integer 日志存储时间 最小值:1 最大值:365 说明: 该参数仅对华东-上海一、华北-北京四、华南-广州用户开放。 tags 否 Array of tagsBody
"v4" } 加工规则 此处e_drop()函数的作用是把e_if()函数过滤掉的数据做删除处理。如果不添加该函数,则被过滤的数据被投递到默认的存储目标中。创建任务时配置的第一条目标日志流为默认目标。 e_if(e_match("k2", r"\w+"), e_output("target2"))
名称只能由英文大小写字母、数字、特殊字符“_”“-”“.”组成,且不能以小数点、下划线开头或以小数点结尾。 ttl_in_days 是 Integer 日志存储时间(默认为30天)。 tags 否 Array of tagsBody objects 标签字段信息 log_group_name_alias
public List<Event> intercept(List<Event> events) { // 创建一个新的列表,存储处理过后的事件 List<Event> interceptedEvents = new ArrayList<>();