检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
每5秒都有日志数据产生,则加载数据时延为5秒。 前提条件 已创建日志组和日志流。 已完成安装ICAgent(区域内主机)。 已配置日志采集规则。 查看LTS实时日志 如果您正在使用实时查看功能,请停留在实时查看页面,请勿切换页面。如果离开实时查看页面,实时查看功能将会停止,重新开启后上一次查看的实时日志将不会显示。
e_set("result", "......value......", mode="fill") 示例如下所示: 原始日志 { "name":"" } 加工规则 e_set("name", "Apache 2.0", mode="fill") 加工结果 { name:Apache 2.0 } 场景2:为多个字段赋值。
在手工输入方式中,正则表达式的长度不能超过5000个字符,不强制要求用户在输入正则表达式时对分组进行命名,单击“生成字段”会以命名分组中的分组名作为字段名称,对于非命名分组会提取出对应的字段,并给字段名称默认命名field1、field2、field3……。 若需要指定某一字段作为日志时间,详细请参考自定义日志时间。
在手工输入方式中,正则表达式的长度不能超过5000个字符,不强制要求用户在输入正则表达式时对分组进行命名,单击“生成字段”会以命名分组中的分组名作为字段名称,对于非命名分组会提取出对应的字段,并给字段名称默认命名field1、field2、field3……。 若需要指定某一字段作为日志时间,详细请参考自定义日志时间。
正则表达式函数 本文介绍正则表达式函数的语法规则,包括参数解释、函数示例等。 类型 函数 说明 值提取函数 regex_select 根据正则表达式提取符合条件的值。 regex_findall 根据正则表达式获得符合条件的所有值列表。 匹配判断 regex_match 判断是否匹配正则表达式。
ICAgent结构化解析是在采集侧做结构化,支持插件组合解析,单个日志流的多个采集配置支持不同结构化解析规则,推荐使用ICAgent结构化解析的方式,更多内容请参考ICAgent结构化解析规则说明。 云端结构化解析是通过不同的日志提取方式将日志流中的日志进行结构化,云端结构化解析会消耗L
ICAgent结构化解析是在采集侧做结构化,支持插件组合解析,单个日志流的多个采集配置支持不同结构化解析规则,推荐使用ICAgent结构化解析的方式,更多内容请参考ICAgent结构化解析规则说明。 云端结构化解析是通过不同的日志提取方式将日志流中的日志进行结构化,云端结构化解析会消耗L
主要介绍使用函数进行事件判断的常见场景和最佳方案示例。 场景一:判断字段是否存在 原始日志 { "a": "a_value" } 加工规则 e_if(e_has("a"),e_set("has_a", true)) e_if(e_has("b"),e_set("has_b",
点,仅针对用户内测使用,后续将全网开放,敬请期待! 场景一:过滤LTS日志 场景二:使用e_set函数为日志空缺字段赋值 场景三:删除和重命名字段(e_drop_fields函数和e_rename函数) 场景四:转换日志参数类型(v函数、cn_int函数和dt_totimestamp函数)
"number": 2 } 加工规则 e_set("int_number", ct_int(v("number"))) 加工结果 number: 2 int_number: 2 示例2:将十六进制转换成十进制。 测试数据 { "number": AB } 加工规则 e_set("int_number"
日期和时间函数 本文介绍日期、时间函数的语法规则,包括参数解释、函数示例等。管道符特性处理的日期和时间为timestamp类型,返回值格式表现为yyyy-MM-dd HH:mm:ss.SSS TimeZone。 函数列表 表1 日期和时间函数 函数 描述 current_timestamp函数
ticSearch的日志是记录其运行过程中各种信息的重要工具,主要有以下两种类型: 主要日志(cluster-name.log,以集群名称命名:记录了ElasticSearch运行时所发生一切的综合信息,如某个查询失败、一个新的节点加入集群等。这是了解ElasticSearch集群整体运行状况的重要日志。
限制条件 单个用户最多可创建10个日志指标规则,所有规则中添加的指标总数不能超过10。 创建日志指标规则 登录云日志服务控制台。 在左侧导航栏中选择“日志加工”。 在“生成指标”页签,单击“创建规则”。 配置日志的基本信息。 填写规则名称,最多256位,只能包含字母、数字、下划线、中划线。
reportLog(index) 构建python读写脚本,用来将ES数据写入磁盘,输出文件路径需与配置日志接入规则一致。 脚本需执行在ecs机器,命名xxx.py格式,写入磁盘数据脚本请参考如下示例: 以下斜体字段需按照实际情况进行修改。 index:字段为索引名,参考示例为:
字符串函数 本文介绍字符串函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 字符串函数 函数 描述 lpad函数 在字符串的开头填充指定字符,直到指定长度后返回结果字符串。如果未指定填充字符,则使用“ ”进行填充。 rpad函数 在字符串的结尾填充指定字符,直到指定长度
您的日志是无规则的,那么适用关键词告警,例如java程序的运行日志;如果您的日志是有规则的,例如NGINX网关日志,那么适用SQL统计告警,您可以使用SQL语句对结构化的日志做统计分析,获取您想要的指标配置告警。 告警规则配置:告警触发一般需要越快越好,您的告警规则统计周期建议使
转换后的格式 str1 任意 是 待格式化的值1 str2 任意 是 待格式化的值2 返回结果 格式化后的字符串。 函数示例 测试数据:无 加工规则 e_set("result", str_format("{}={}", "lts", 8)) 加工结果 result: lts=8 str_join
窗口函数 本文介绍窗口函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 窗口函数 函数 描述 ntile函数 用于将窗口分区内数据按照顺序分成N组。 ntile函数 用于将窗口分区内数据按照顺序分成N组。 语法: ntile(n) over ( [partition
URL函数 本文介绍URL函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 URL函数 函数 描述 url_encode函数 对URL进行编码。 url_decode函数 对URL进行解码。 url_extract_fragment函数 提取URL中的fragment信息。
如果配置的是文件名,则直接采集对应文件,只支持内容是文本格式的文件。 添加自定义绕接规则,ICAgent目前是通过文件名规则来判断是否为绕接文件,如果您的绕接规则不符合内置类型时,可以通过单击“添加自定义绕接规则”来进行匹配,避免重复采集和绕接时的日志丢失。 内置类型为{basename}{连接符}{绕接标识}