检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露，降低敏感数据泄露的风险，保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身
是否支持Log4j插件上报日志到LTS？ LTS不支持log4j插件上报日志到LTS，原因如下： 目前Log4j官网已经不再提供Log4j的后期维护，推荐用户使用Log4j2，支持Log4j2插件上报日志到LTS。 因为Log4j存在巨大的安全隐患，所以不再提供Log4j的日志采集能力。
IP地址函数 本文介绍IP地址函数的语法规则，包括参数解释、函数示例等。 函数列表 表1 IP地址函数 函数 描述 ip_to_domain函数 判断目标IPv4地址是内网地址还是外网地址。 ip_prefix函数 获取目标IPv4地址的前缀。 is_prefix_subnet_of函数
SQL其他函数 功能描述 SQL提供的函数，还支持一些转换类型和CASE WHEN等逻辑运算，具体请参见表1。 语法格式 SELECT CAST(fieldname1 AS VARCHAR) AS fieldname1_str 其他函数语句 表1 其他函数语句 关键字 说明 示例
SQL IP函数 使用限制 LTS提供的IP与地域之间的关系，来自于第三方IP库，且数据是周期性更新（约半年），不承诺IP与地域关系完全正确；后续LTS会优化，缩短IP库的更新周期，为用户提供更好的体验。 单IP函数聚合查询的数据量上限为500万，查询的数据超出上限可能导致查询超时。
SQL时间函数 功能描述 时间函数可以与__time一起使用，任何存储为毫秒时间戳的列都可以使用 MILLIS_TO_TIMESTAMP 函数，或者任何存储为字符串时间戳的列都可以使用 TIME_PARSE 函数。默认情况下，时间操作使用UTC时区，您可以通过参数"timezon
SQL SPLIT函数 功能描述 SPLIT函数用于通过指定的分隔符拆分字符串，并返回拆分后的子串集合。 语法格式 SELECT split_to_map(x, delimiter01, delimiter02) SPLIT函数语句 语句 说明 示例 参数 split split
进入搜索LTS日志页面 云日志服务支持管道符特性在一个语句中同时进行搜索和分析。其语法结构主要由三部分构成：针对非结构化数据和半结构化数据的搜索语句、“|”和针对结构化数据的查询的分析语句。语法示例结构：* and msg:"hello world" | SELECT avg(value)
查看LTS实时日志 日志接入云日志服务后，每隔大约1分钟上报一次。因此，在实时日志页面，您最多需要等待1分钟左右，即可查看实时上报的日志，实现对日志数据的快速检索与分析。 若实时日志大于1MB且总数小于2000条时时，LTS会清空前500KB的日志，保留最新的500KB日志。 若
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题： DSL数据加工语法（邀测）
使用ICAgent收集日志时CPU占用较高怎么处理？ 如果在使用ICAgent收集日志过程中遇到CPU占用较高（例如运行速度变慢/程序崩溃）的情况，请确认您配置的日志采集路径下是否有大量的日志文件，建议您定时清理，以减少ICAgent在收集日志过程中带来的系统资源占用。若还是无法解决，请联系技术支持协助。
使用ICAgent采集日志时，推荐的日志轮转方案是什么？ 日志轮转也叫日志切割或日志绕接，通俗来讲是对日志文件的大小进行控制。 软件系统通常会长时间的不停机运行，这样会产生很多信息记录到不同的日志中。随着时间的推移，日志的容量自然会越来越大，而硬盘的空间是有限的，就需要对日志文件的大小进行控制。
提取字符串动态键值对 本文档介绍如何使用不同方案提取字符串键值对。 常用方案比较 字符串动态键值对提取分为关键字提取、值提取、关键字加工和值加工，常用方案为采用e_kv函数、e_kv_delimit函数和e_regex函数等。不同提取场景的三种方案如下： 方案 关键字提取 值提取
获取账号ID、项目ID、日志组ID、日志流ID 获取账号ID和项目ID 在调用接口的时候，部分URL中需要填入账号ID（domain-id）和项目ID，获取步骤如下： 注册并登录管理控制台。 单击用户名，在下拉列表中单击“我的凭证”。 在“我的凭证”页面查看账号ID和项目ID。
SQL JSON函数 功能描述 JSON函数用于解析JSON对象或JSON数组，并从中提取值。 语法格式 SELECT json_extract(Results, '$.[0].EndTime') JSON函数语句 表1 JSON函数语句 语句 说明 示例 返回值类型 json_extract
SQL JOIN语法 JOIN子句可以关联查询两个或多个表数据，本文介绍JOIN子句的基本使用方法。 语法 select key from t1 LEFT|RIGHT|INNER JOIN t2 on t1.key=t2.key 当前日志服务支持LEFT JOIN、RIGHT JOIN和INNER
在LTS页面完成ICAgent安装后显示离线怎么办？ 在LTS页面完成ICAgent安装后显示离线，请按如下步骤检查： 检查ICAgent网络连接是否正常。 登录ICAgent所在的主机。 执行netstat -nap | grep icagent，检查ICAgent进程网络连接
事件操作函数 本文介绍事件操作函数的语法规则，包括参数解释、函数示例等。 函数列表 类型 函数 说明 事件操作 e_drop 根据条件判断是否丢弃日志。支持和其他函数组合使用。 e_keep 根据条件判断是否保留日志。 e_keep函数和e_drop函数都会丢弃日志。e_keep
SQL字符串函数 功能描述 SQL提供字符串函数，用于对字符类型的数据执行拼接、大小写转换等操作，具体请参见表1。 SQL语法中，字符必须被单引号（''）包裹，无符号或双引号（""）包裹的为字段或表名称，如：'msg'表示字符串msg，msg或"msg"表示日志结构化msg字段。
SQL比较运算符 功能描述 比较运算符用于比较两个值，并返回真(true)或假(false)。比较运算符可以对数值类型进行大小比较，对STRING类型进行包含比较，比如数值类型的字段num1 < num2是否为真，STRING类型的str1是否存在于字符串strs中等，具体请参见表1。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
