检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作步骤 在云日志服务控制台的“配置中心”页面,检查是否开启“ICAgent采集开关”。若“ICAgent采集开关”关闭后,ICAgent会停止采集日志,因此需要开启“ICAgent采集开关”。
概念解释 LTS DSL语法中的日期时间处理主要涉及三种数据类型:日期时间字符串、日期时间对象和Unix时间戳。 日期时间字符串:日期时间字符串的主要用途是为了便于展示以及提升用户可读性。 LTS DSL语法中的日期时间字符串主要分为两种形式: 带有时区信息的日期时间字符串,如2018
使用Flume采集syslog协议传输的日志上报到LTS Syslog协议是一种用于在IP网络中传输日志消息的协议,通过Flume将syslog协议传输的日志采集并上报到LTS。以下示例中的参数介绍请参考使用KAFKA协议上报日志。
URL函数 本文介绍URL函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 URL函数 函数 描述 url_encode函数 对URL进行编码。 url_decode函数 对URL进行解码。 url_extract_fragment函数 提取URL中的fragment信息
数组函数 本文介绍数组函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 数组函数 函数 描述 array函数 将输入的参数构造成数组,参数类型必须相同。 array_position函数 获取指定元素的下标,下标从1开始。如果指定元素不存在,则返回0。 cardinality
设置云端结构化解析日志 日志结构化概述 设置日志云端结构化解析 设置云端结构化字段和tag字段 设置云端结构化自定义日志时间 设置云端结构化模板 父主题: 日志搜索与分析(默认推荐)
若有以下场景,可以选择使用自定义标识主机组: VPC等自定义网络环境中,可能出现不同服务器IP地址冲突的问题,导致日志服务无法管理ICAgent。使用自定义标识可以避免此类情况的发生。 多台服务器通过同一个自定义标识实现主机组弹性伸缩。
使用Flume采集syslog协议传输的日志上报到LTS Syslog协议是一种用于在IP网络中传输日志消息的协议,通过Flume将syslog协议传输的日志采集并上报到LTS。以下示例中的参数介绍请参考使用KAFKA协议上报日志。
关于内嵌参数请参考云日志服务地址。 在日志内容下方,鼠标悬浮指向日志内容中的字段,单击蓝色字体的日志内容,支持以下方式搜索日志:复制、添加到查询、从查询中排除、添加到查询(交互模式)、从查询中排除(交互模式)、新建查询、隐藏。
通过日志流标签统计不同部门在LTS的费用开销 登录云日志服务控制台。 在“日志管理”页面,将鼠标悬浮在aa部门创建的日志组“标签”列单击。
通过日志流标签统计不同部门在LTS的费用开销 登录云日志服务控制台。 在“日志管理”页面,将鼠标悬浮在aa部门创建的日志组“标签”列单击。
是否支持Log4j插件上报日志到LTS? LTS不支持log4j插件上报日志到LTS,原因如下: 目前Log4j官网已经不再提供Log4j的后期维护,推荐用户使用Log4j2,支持Log4j2插件上报日志到LTS。 因为Log4j存在巨大的安全隐患,所以不再提供Log4j的日志采集能力
数据组织形式 管道符特性针对特定的数据组织形式,对于云日志服务而言,管道符特性的数据主要由两部分构成,一部分是结构化数据,一部分是原始日志。
日志每隔大约1分钟上报一次,在日志消息区域,您最多需要等待1分钟左右,即可查看实时上报的日志。 同时,还可以通过页面右上方的“清屏”、“暂停”对日志消息区域进行操作。 字段过滤:从索引配置、结构化配置、最新日志获取。 清屏:清除日志消息区域已经显示出来的日志。
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题: DSL数据加工语法(邀测)
IP地址函数 本文介绍IP地址函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 IP地址函数 函数 描述 ip_to_domain函数 判断目标IPv4地址是内网地址还是外网地址。 ip_prefix函数 获取目标IPv4地址的前缀。 is_prefix_subnet_of
SQL其他函数 功能描述 SQL提供的函数,还支持一些转换类型和CASE WHEN等逻辑运算,具体请参见表1。 语法格式 SELECT CAST(fieldname1 AS VARCHAR) AS fieldname1_str 其他函数语句 表1 其他函数语句 关键字 说明 示例
SQL IP函数 使用限制 LTS提供的IP与地域之间的关系,来自于第三方IP库,且数据是周期性更新(约半年),不承诺IP与地域关系完全正确;后续LTS会优化,缩短IP库的更新周期,为用户提供更好的体验。 单IP函数聚合查询的数据量上限为500万,查询的数据超出上限可能导致查询超时
SQL时间函数 功能描述 时间函数可以与__time一起使用,任何存储为毫秒时间戳的列都可以使用 MILLIS_TO_TIMESTAMP 函数,或者任何存储为字符串时间戳的列都可以使用 TIME_PARSE 函数。默认情况下,时间操作使用UTC时区,您可以通过参数"timezone
SQL SPLIT函数 功能描述 SPLIT函数用于通过指定的分隔符拆分字符串,并返回拆分后的子串集合。 语法格式 SELECT split_to_map(x, delimiter01, delimiter02) SPLIT函数语句 语句 说明 示例 参数 split split函数用于通过指定的分隔符拆分字符串