检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露，降低敏感数据泄露的风险，保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身
查看LTS实时日志 日志接入云日志服务后，每隔大约1分钟上报一次。因此，在实时日志页面，您最多需要等待1分钟左右，即可查看实时上报的日志，实现对日志数据的快速检索与分析。 若实时日志大于1MB且总数小于2000条时时，LTS会清空前500KB的日志，保留最新的500KB日志。 若
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题： DSL数据加工语法（邀测）
常见操作 str_strip 删除字符串中指定的字符。 函数格式 str_strip(value, chars) 参数说明 参数名称 参数类型 是否必填 说明 value 任意（自动转为String） 是 需要被修改的原字符串。 chars 任意（自动转为String） 否 字符
是否支持Log4j插件上报日志到LTS？ LTS不支持log4j插件上报日志到LTS，原因如下： 目前Log4j官网已经不再提供Log4j的后期维护，推荐用户使用Log4j2，支持Log4j2插件上报日志到LTS。 因为Log4j存在巨大的安全隐患，所以不再提供Log4j的日志采集能力。
IP地址函数 本文介绍IP地址函数的语法规则，包括参数解释、函数示例等。 函数列表 表1 IP地址函数 函数 描述 ip_to_domain函数 判断目标IPv4地址是内网地址还是外网地址。 ip_prefix函数 获取目标IPv4地址的前缀。 is_prefix_subnet_of函数
SQL其他函数 功能描述 SQL提供的函数，还支持一些转换类型和CASE WHEN等逻辑运算，具体请参见表1。 语法格式 SELECT CAST(fieldname1 AS VARCHAR) AS fieldname1_str 其他函数语句 表1 其他函数语句 关键字 说明 示例
SQL IP函数 使用限制 LTS提供的IP与地域之间的关系，来自于第三方IP库，且数据是周期性更新（约半年），不承诺IP与地域关系完全正确；后续LTS会优化，缩短IP库的更新周期，为用户提供更好的体验。 单IP函数聚合查询的数据量上限为500万，查询的数据超出上限可能导致查询超时。
SQL SPLIT函数 功能描述 SPLIT函数用于通过指定的分隔符拆分字符串，并返回拆分后的子串集合。 语法格式 SELECT split_to_map(x, delimiter01, delimiter02) SPLIT函数语句 语句 说明 示例 参数 split split
日期时间偏移 处理函数 dt_add函数的参数如下： dt_add(字段名, dt1=None, dt2=None, year(s)=None, month(s)=None, day(s)=None, hour(s)=None, minute(s)=None, second(s)=None
上报高精度日志接口参考 功能介绍 该接口用于主机上报租户日志给LTS。 接入点IP可在LTS控制台安装ICAgent的安装命令中获取，端口为8102，调用时使用该参数请参见请求示例。 每次上报的时候， 每条日志都必须带一个纳秒级的时间戳。在LTS界面查看日志的时候， 会按照时间戳
正则式函数 本文介绍正则式函数的语法规则，包括参数解释、函数示例等。 函数列表 表1 正则式函数 函数 描述 regexp_extract函数 提取目标字符串中符合正则表达式的子串。 regexp_like函数 判断目标字符串是否符合正则表达式。 regexp_extract_all函数
类型转换函数 本文介绍类型转换函数的语法规则，包括参数解释、函数示例等。 函数列表 表1 类型转换函数 函数 描述 cast函数 将值从一种数据类型转换为另一种数据类型，并将数据类型提供给动态参数。 cast函数 将值从一种数据类型转换为另一种数据类型，并将数据类型提供给动态参数。
数学计算函数 本文介绍数学计算函数的语法规则，包括参数解释、函数示例等。 函数列表 表1 数学计算函数 函数 描述 round函数 用于对x进行四舍五入。如果n存在，则保留n位小数；如果n不存在，则对x进行四舍五入取整数。 round函数 用于对x进行四舍五入。如果n存在，则保留
SQL聚合函数 聚合函数是对结构化后的日志的指定列进行的统计运算。聚合函数返回的是单个值，经常与SELECT语句和GROUP BY语句一起使用。LTS支持如下表格所示聚合函数，具体请参考表1。 在聚合函数的使用中请注意以下几点： 聚合函数可用在任何查询的SELECT子句中。您可以使用如AGG(expr)
SQL归约函数 功能描述 归约函数对零个或多个表达式进行操作，并返回单个表达式。如果没有表达式作为参数传递，则结果为 NULL。表达式必须全部转换为公共数据类型，即结果的类型有： 如果所有的参数都是 NULL，结果是 NULL，否则，NULL 参数被忽略。 如果所有的参数包含了数
提取字符串动态键值对 本文档介绍如何使用不同方案提取字符串键值对。 常用方案比较 字符串动态键值对提取分为关键字提取、值提取、关键字加工和值加工，常用方案为采用e_kv函数、e_kv_delimit函数和e_regex函数等。不同提取场景的三种方案如下： 方案 关键字提取 值提取
获取账号ID、项目ID、日志组ID、日志流ID 获取账号ID和项目ID 在调用接口的时候，部分URL中需要填入账号ID（domain-id）和项目ID，获取步骤如下： 注册并登录管理控制台。 单击用户名，在下拉列表中单击“我的凭证”。 在“我的凭证”页面查看账号ID和项目ID。
设置LTS日志采集配额和使用量预警 配置超额采集 当日志超过每月免费赠送的额度（500M）时，超过的部分将按需收费。如果每月免费赠送的额度已经可以满足您的使用需求，超过后希望暂停日志收集，可以在配置中心进行设置。 该开关默认为开启状态，开启后表示当日志超过免费赠送的额度（500M
SQL JSON函数 功能描述 JSON函数用于解析JSON对象或JSON数组，并从中提取值。 语法格式 SELECT json_extract(Results, '$.[0].EndTime') JSON函数语句 表1 JSON函数语句 语句 说明 示例 返回值类型 json_extract
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
