检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
正则表达式函数 本文介绍正则表达式函数的语法规则,包括参数解释、函数示例等。 类型 函数 说明 值提取函数 regex_select 根据正则表达式提取符合条件的值。 regex_findall 根据正则表达式获得符合条件的所有值列表。 匹配判断 regex_match 判断是否匹配正则表达式。
log,当配置为1时日志不会被采集,配置>=2时日志会被采集。 最大目录深度 最大目录深度为5层。 该配置控制日志采集的最大目录深度,ICAgent不会采集所在目录层级超过指定最大目录深度的日志文件。当您的目标采集路径包含模糊匹配时,建议配置合适的最大目录深度,避免ICAgent性能浪费。 日志拆分 云日志服务支持对日志进行拆分。
html)\"" } 解析需求 需求1:从Nginx日志中提取出code、ip、datetime、protocol、request、sendbytes、referer、useragent、verb信息。 需求2:对request进行再提取,提取出uri_proto、uri_domain、uri_param信息。
文本解析 解析Nginx日志 提取字符串动态键值对 解析CSV格式日志 加工复杂JSON数据 解析与更新JSON数据 父主题: 日志加工(邀测)
解析。 图1 ICAgent结构化解析配置 其他配置。 表2 其他配置 名称 说明 最大目录深度 最大目录深度为20层。 采集路径支持使用**配置多层路径模糊匹配,该配置项限制最大目录深度。例如您的日志路径为/var/logs/department/app/a.log,采集路径配置为:/var/logs/**/a
全局操作函数 映射富化函数 字段值提取函数 字段操作函数 事件操作函数 流程控制函数 父主题: DSL数据加工语法(邀测)
Service,简称OBS) 通过DIS服务,您可以将需要长期存储的日志转储至DIS,DIS可以将大量日志文件传输到云端做备份,进行离线分析、存储查询及机器学习,还能用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能。 数据接入服务(Data Ingestion
增日志结构的时候就需要新增函数,功能繁琐,使用不够灵活。 函数加工需要使用函数工作流服务,且还需要独立收费,长期使用增加成本。 应用场景 提取结构化的数据,方便后续检索分析,生成仪表盘等。 日志减肥瘦身,节约后续使用成本。丢弃不需要的日志数据,节约存储成本、流量成本。 敏感数据脱
勿频繁切换自定义日志时间开关。 表1 参数配置表 参数 说明 示例 字段key 已提取字段的名称。单击下拉框选择已提取的字段,该字段为string或long类型。 test 字段value 已提取的字段value,选择字段key后,将自动填充。 2022-07-19 12:12:00
勿频繁切换自定义日志时间开关。 表1 参数配置表 参数 说明 示例 字段key 已提取字段的名称。单击下拉框选择已提取的字段,该字段为string或long类型。 test 字段value 已提取的字段value,选择字段key后,将自动填充。 2022-07-19 12:12:00
lts:logIndex:list 查询日志索引列表 无 lts:transfers:delete 删除日志转储 无 lts:regex:create 提取结构化字段 无 lts:subscriptions:delete 删除指定订阅 无 lts:overviewLogsLast:list 查询用户的最近日志
供用户存储任意类型和大小的数据。适合企业备份/归档、视频点播、视频监控等多种数据存储场景。 OBS提供了标准存储、低频访问存储、归档存储、深度归档存储(受限公测中)四种存储类别,满足不同场景下客户对存储性能和成本的不同诉求。 分布式消息服务Kafka版(DMS) 分布式消息服务Kafka版(Distributed
JMES提取字段后再进行分裂。 函数格式 e_split(字段名, sep=',', quote='"', lstrip=true, jmes=None, output=None) 分裂规则: 如果配置了jmes参数,则将日志字段的值转化为JSON列表,并使用JMES提取值作为下
grafana\data\plugins。 下载的LTS-Grafana插件压缩包解压到当前位置,这样成功提取文件(文件名为lts-grafana-plugin)。 将提取到的文件(文件名为lts-grafana-plugin)拷贝到GrafanaLabs\grafana\plu
解析。 图1 ICAgent结构化解析配置 其他配置。 表2 其他配置 名称 说明 最大目录深度 最大目录深度为20层。 采集路径支持使用**配置多层路径模糊匹配,该配置项限制最大目录深度。例如您的日志路径为/var/logs/department/app/a.log,采集路径配置为:/var/logs/**/a
开启结构化解析配置,日志结构化解析规则选择单行-全文日志。更多规则请参考ICAgent采集配置。 开启 最大目录深度 最大目录深度为20层。 采集路径支持使用**配置多层路径模糊匹配,该配置项限制最大目录深度。例如您的日志路径为/var/logs/department/app/a.log,采集路径配置为:/var/logs/**/a
查看日志。 支持区域: 全部 云主机ECS文本日志接入LTS 云端结构化配置 日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志进行结构化,提取出有固定格式或者相似程度较高的日志,过滤掉不相关的日志,以便对结构化后的日志按照SQL语法进行查询与分析。 支持区域: 全部
在日志管理页面,单击日志流名称进入日志流详情页面,单击右上角的按钮,进入设置页面,在“云端结构化解析”页签,“自动配置索引和快速分析”默认开启,选择“结构化模板”提取方式,勾选ELB系统模板,单击“保存”,关于快速分析的更多详情请参见快速分析。 图1 配置结构化模板 在日志流详情页面,单击“日志分析”页
示、方便快捷的方式进行查询,并且可以长期存储。 采集到日志数据按照结构化和非结构化进行分析。结构化日志是通过规则将日志流中的日志进行处理,提取出来有固定格式或者相似度高的日志内容做结构化的分类。这样就可以采用SQL的语法进行日志的查询。 海量日志存储搜索 对采集的日志数据,可以通
需要构建和维护对应的表格,过程相对繁琐。 从字典函数构建 基于逻辑动态构建字典,特定场景下适用。 较为高级,不易于维护。 从其他表达式构建 从日志事件的字段中动态提取映射关系,特定场景下适用。 较为高级,不易于维护。 直接构建 e_dict_map({"400": "error", "200": "ok"