检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
专用函数 智能转换函数无法满足用户的全部需求。如对于用户自定义的特殊日期格式,dt_parse等智能转换函数无法自动解析日志,需要使用dt_strptime函数来进行解析指定格式。 父主题: 使用DSL加工函数处理日期时间
String IC结构化解析类型 demo_log String 示例日志 demo_fields Array of DemoFieldAccess objects 示例日志解析字段 processors Array of Processor objects IC结构化解析器 application_id
件。 开启结构化解析配置,详细操作请参考ICAgent结构化解析规则说明。 支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图1 ICAgent结构化解析配置 其他配置。 表2
执行搜索与分析前,需要将上报的日志进行结构化配置和索引配置,因为结构化后数据具有严格的长度和格式,方便进行搜索与分析。详细请参考设置云端结构化解析日志和设置LTS日志索引配置。 结构化完成后,使用云日志服务(LTS)提供的搜索语法用于设置搜索条件,帮助您更有效地搜索日志。详细请参考搜索日志。
搜索与分析限制 本文介绍云日志服务查询与分析的限制。 搜索 表1 日志搜索限制 限制项 说明 备注 日志采集到搜索时延 从日志产生到日志在控制台能被搜索到的时间间隔小于2分钟(非阻塞情况下)。 不涉及。 关键词个数 关键词,即单次查询时布尔逻辑符外的条件个数。每次查询最多30个。
组支持自定义标识主机组,可以管理动态扩缩容主机组。 日志结构化解析 ☆☆☆☆ ☆☆☆☆☆ ELK:基于采集器实现自定义日志结构化解析。 LTS:提供结构化解析能力,可以正则表达式、JSON、分隔符、自定义模板等方式解析日志。 日志搜索 关键词搜索、模糊搜索、快速分析 ☆☆☆☆☆ ☆☆☆☆☆
Vista及以上的操作系统。 开启结构化解析配置,详细操作请参考ICAgent结构化解析规则说明。 支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图1 ICAgent结构化解析配置 其他配置。 表2
Vista及以上的操作系统。 开启结构化解析配置,详细操作请参考ICAgent结构化解析规则说明。 支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图1 ICAgent结构化解析配置 其他配置。 表2
本示例默认关闭,采集所有文件。 关闭 采集Windows事件日志 本示例是Linux主机,默认关闭。 关闭 结构化解析配置 开启结构化解析配置,日志结构化解析规则选择单行-全文日志。更多规则请参考ICAgent结构化解析规则说明。 开启 最大目录深度 最大目录深度为20层。 采集路径支持使用**配置多层路径
集到LTS,并配置好结构化解析规则和索引配置 ,否则此处预览结果展示为空。 配置日志的统计方式。 日志过滤的规则,设置完成后,支持预览效果。如果您无法在日志过滤和日志统计处选择到想要的日志字段,请您先在采集配置中配置好,详细操作请参考设置云端结构化解析日志。 支持“或”“且”两种方式交互式过滤日志。
S。 日志配置结构化,详情请参见设置云端结构化解析日志。 查看WAF安全日志中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘 ”。 在仪表盘模板下方,选择“WAF仪表盘模板 > WAF安全日志中心”,查看图表详情。 被攻击网站图表所关联的查询分析语句如下所示: SELECT
志没有实际含义,不一定能匹配到日志。 前提条件 快速分析的对象为结构化日志中提取的关键字段,创建快速分析前请先对原始日志进行设置云端结构化解析日志。 创建快速分析 快速分析以日志流为单位,请参考如下步骤创建快速分析。 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组或日志流名称,进入日志详情页面。
}。 开启结构化解析配置,详细操作请参考ICAgent结构化解析规则说明。 支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图1 ICAgent结构化解析配置 其他配置。 表4
}。 开启结构化解析配置,详细操作请参考ICAgent结构化解析规则说明。 支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图3 ICAgent结构化解析配置 其他配置。 表4
SQL IP函数 使用限制 LTS提供的IP与地域之间的关系,来自于第三方IP库,且数据是周期性更新(约半年),不承诺IP与地域关系完全正确;后续LTS会优化,缩短IP库的更新周期,为用户提供更好的体验。 单IP函数聚合查询的数据量上限为500万,查询的数据超出上限可能导致查询超时。
数、访问客户端数等图表。 前提条件 已采集DDS日志,详情请参见文档数据库服务DDS接入LTS。 日志配置结构化,详情请参见设置云端结构化解析日志。 DDS审计日志中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。 在仪表盘模板下方,选择“DDS仪表盘模板 > DDS审计日志中心”,查看图表详情。
志文件上传至云日志服务 LTS。日志文件压缩上传到对象存储服务 OBS,通过函数工作流的OBS 触发器获取日志文件压缩包,并实现自动解压、解析日志文件,将日志结果逐行存储到云日志服务 LTS。适用于将业务系统日志上传至云日志服务 LTS进行管理的场景。
表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为CTS系统模板,索引配置时将所有CTS解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对CTS日志进行SQL分析,并提供可视化图表。 单击“提交”。 父主题: 使用云服务接入LTS
表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为ELB系统模板,索引配置时将所有ELB解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对ELB日志进行SQL分析,并提供可视化图表。 自动为日志流添加标签:log_type=elb_7layer_access
IP地址函数 本文介绍IP地址函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 IP地址函数 函数 描述 ip_to_domain函数 判断目标IPv4地址是内网地址还是外网地址。 ip_prefix函数 获取目标IPv4地址的前缀。 is_prefix_subnet_of函数