检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
说明 条件 任意 是 表达式或其组合。其结果不是布尔值时,会进行真假判断。 操作 全局操作函数 否 全局操作函数或其组合。 返回结果 返回加工处理后的日志。 函数示例 示例1:字段值匹配后再进行操作。 result字段值为failed或failure时,设置__topic__字段的值
对结构化后的日志按照SQL语法进行查询与分析。 日志结构化解析是一种将日志数据从非结构化或半结构化形式转换为结构化格式的过程,以便于更好地存储、查询和分析,提高日志数据的可读性、可搜索性和查询效率。 解析方式介绍 云日志服务支持两种日志结构化解析方式:云端结构化解析和ICAgen
9****", "content": "Id card is 111222190002309999" } 场景7:网址脱敏 对日志内容中的网址做脱敏处理,并且将脱敏的数据转成明文格式,可运用Base64编码解码函数,对网址进行转码。 原始日志 { "content":"https://www
消费组的基本构成单元,承担消费任务,可以根据您的服务自行决定消费者数量。 Shard 云日志服务将数据必定保存在某一个Shard中,是数据存储的基本单元。 CheckPoint 消费点位,是消费者消费到的最新位置。程序重启后,SDK会自动通过CheckPoint恢复上次的消费进度。
OnProject" 源日志流 当前账号 选择已完成结构化配置的日志组、日志流,即表示源日志组、日志流中的日志内容通过DSL加工处理后,将存储到目标日志流中。 其他账号 填写委托名称、委托人账号名称,选择日志组和日志流。关于委托信息请参考创建委托。 目标日志流 单击“添加目标日志
deleteLogStreamStructConfig 创建快速分析 wordFreqConfig updateWordFreqConfig 存储日志路径配置 path addLogPath 添加统计规则 rule addRuleStatistics 修改统计规则 rule updateRuleStatistics
最大长度:64 log_group_id String 日志组ID。 最小长度:36 最大长度:36 ttl_in_days Integer 日志存储时间(天)。 最小值:1 最大值:365 tag Map<String,String> 日志组标签。 状态码: 401 表5 响应Body参数
NOT 字段 : *。 当字段为float或long类型时,单击null添加到搜索框中将显示为NOT 字段 : *。 未开启快速分析期间,不会存储分析所用的列存数据,分析结果对应为null,此时查询日志没有实际含义,不一定能匹配到日志。 前提条件 快速分析的对象为结构化日志中提取的关
CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment /* 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险, 建议在配置文件或者环境变量中密文存放, 使用时解密, 确保安全; ak = os.environ["CLOUD_SDK_AK"]
按日志大小轮转:在进行轮转日志时,以日志大小为标准,当日志的大小满足设定的大小时,则进行日志轮转。一般应用程序的日志多使用日志大小进行轮转。 在使用日志轮转时,有以下建议: 如何轮转日志: ICAgent不会对您的日志轮转,建议在应用程序中,使用成熟的软件包自定义日志轮转规则。例如:Java的logback、log
单击操作列下的,删除不需要转储的字段。 单击,添加您需要转储的字段。 表普通列映射和表分区列映射添加表字段的总数为创建表的总列数。 - 表分区列映射 存储时根据设置的字段值进行分区。将内置字段以及日志中配置的结构化字段和类型,映射到数据库表字段。 内置字段有13个,分别是hostIP、 ho
参数来设置,单位是微秒。 慢查询日志的最大长度(即可以保存的慢查询记录数)可以通过 slowlog-max-len 参数来设置。 慢查询日志存储在内存中,不会写入磁盘文件。但您可以使用Redis命令SLOWLOG来查看和获取慢查询日志的内容。 采集方法 使用ICAgent采集日志,
LTS的日志流ID。 log_time_ns 是 Long 日志数据采集时间,UTC时间(纳秒)。 采集时间需在日志存储时间范围之内,否则上报日志会被删除。比如日志组的日志存储时间是7天,则此参数不应早于当前时间的7天前。 contents 是 Array of String 日志内容。
路径方式采集到LTS,只能通过配置节点文件路径方式采集到LTS。 Docker存储驱动限制:容器文件日志采集目前仅支持overlay2存储驱动,不支持devicemapper作为存储驱动的节点。查看存储驱动类型,请使用如下命令: docker info | grep "Storage
24。 关键词:LTS会根据设置的关键词对日志流中的日志进行监控。关键词支持精确匹配和模糊匹配,区分大小写,输入长度不超过1024个字符。如何设置关键词搜索请参考LTS搜索语法介绍。 检测规则 配置触发条件,即满足该条件时,会触发告警。 匹配条数:当关键词搜索结果的日志条数达到设
当前仅华北-北京四、华东-上海一、华南-广州区域使用SDK时支持跨云/本地上报日志,Endpoint端口使用443。 注意事项 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 操作步骤 获取LTS Net SDK包源码。 git clone
${region_name} 配置完成后,单击“确定”。 在LTS页面创建消息模板时提示“创建消息模板失败,名称不能重复”,可以参考如下步骤进行排查处理。 请检查消息模板名称是否有重复。 若有重复,请重新修改消息模板名称。因为,LTS的消息模板数据源与AOM消息模板数据源为同一个,消息模板
offset:指定从某一行开始读取分析结果。 limit:指定当前请求读取的行数,最大值为100,000。如果一次读取太多,会影响网络延时和客户端的处理速度。 例如,通过* | select hostid,podname limit 20 offset 10 语句进行查询分析,指定返回10
"v4" } 加工规则 此处e_drop()函数的作用是把e_if()函数过滤掉的数据做删除处理。如果不添加该函数,则被过滤的数据被投递到默认的存储目标中。创建任务时配置的第一条目标日志流为默认目标。 e_if(e_match("k2", r"\w+"), e_output("target2"))
更多参考 支持和其他函数组合使用。 e_search 提供一种简化,类似Lucene语法的事件搜索方式。该功能在邀测期间,e_search函数处理日志流量比较小,请谨慎使用。 函数格式 e_search(querystring) 参数说明 参数名称 参数类型 是否必填 说明 querystring