检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DSL加工函数进行事件判断 通过事件判断可以更好地对符合特定条件的数据进行相应操作，让加工逻辑更可靠。本文主要介绍使用函数进行事件判断的常见场景和最佳方案示例。 场景一：判断字段是否存在 原始日志 { "a": "a_value" } 加工规则 e_if(e_has("a")
场景一：过滤LTS日志 场景二：使用e_set函数为日志空缺字段赋值 场景三：删除和重命名字段（e_drop_fields函数和e_rename函数） 场景四：转换日志参数类型（v函数、cn_int函数和dt_totimestamp函数） 场景五：使用default传参为日志不存在的字段填充默认值
日期时间偏移 处理函数 dt_add函数的参数如下： dt_add(字段名, dt1=None, dt2=None, year(s)=None, month(s)=None, day(s)=None, hour(s)=None, minute(s)=None, second(s)=None
替换（关键函数regex_replace）、Base64转码（关键函数base64_encoding）、MD5编码（关键函数md5_encoding）、str_translate映射（关键函数str_translate）等。更多信息，请参见正则表达式函数和编码解码函数。 场景1：手机号脱敏
场景一：过滤LTS日志 您可以使用e_if函数与DROP参数、e_if_else函数与DROP参数过滤日志，也可以使用e_drop函数或e_keep函数过滤日志。 常用规则如下所示： e_keep(e_has(...))：满足条件时保留，不满足条件时丢弃。 e_drop(e_has(
{ time1: 1562741899 time2: 1562731122 time_diff: 10777 } 父主题： 使用DSL加工函数处理日期时间
map函数进行数据富化 本文介绍使用映射富化函数e_dict_map、e_search_dict_map进行数据富化的实践案例。 背景信息 日志服务数据加工映射富化函数包括普通映射函数和搜索映射函数，两者区别如下所示： 普通映射函数使用文本完全匹配方式来映射。普通映射函数包括e_
e_drop()) 通过流程控制函数中的e_if函数、事件检查函数中的e_not_has函数删除不存在srcaddr和dstaddr字段的日志。 通过流程控制函数中的e_if函数、操作符函数中的op_not函数、事件检查函数中的e_match函数删除srcaddr和dstaddr字段不符合IP地址格式的日志。
日期时间对象和Unix时间戳的相互转换 处理函数 推荐dt_parse函数将Unix时间戳转换为日期时间字符串。 e_set函数中的tz参数设置会将不带时区的日期时间对象处理为带时区的，或将原时区的转换为目标时区。 Unix时间戳转换成带时区的时间字符串对象。 原始日志 {
将日志中的时间转换成指定格式 把日志中的时间字段从字符转化成指定格式。 使用date_parse函数将时间字段，从字符串转化成年-月-日 时:分:秒。 使用date_format函数截取年-月-日部分。 使用group by进行分组。 日志样例： time:2017-05-17 09:45:00
日期时间字符串和Unix时间戳的相互转换 处理函数 dt_str智能转换函数，可以将Unix时间戳、日期时间对象和日期时间字符串转化为指定格式的日期时间字符串。 dt_strftimestamp函数只支持将Unix时间戳转化为日期时间字符串。 dt_parsetimestamp智能转换函数，可以将日期时间字
日期时间对象和日期时间字符串的相互转换 处理函数 dt_parse智能转换函数可以将日期时间字符串或Unix时间戳转换为日期时间对象。 dt_astimezone函数返回一个带新时区信息的日期时间对象。 场景1：不带时区信息的日期时间字符串转换成指定时区的日期时间对象。 对于不带
时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求，当原始日志中存在标准 ISO8601时间格式的字段，您可以使用e_set字段操作函数，将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time": 1704983810,
场景七：数据转化纳秒级的Unix时间戳 部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求，当原始日志中存在Unix时间格式字段，您可以使用e_set字段操作函数，将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time": 1704983810,
用户对采集到LTS的日志流有二次加工的诉求，目前使用函数加工有以下缺点： 用户有多条日志流需要转换成不同的日志流结构，一个函数只能转换一个日志流，使用不方便，有新增日志结构的时候就需要新增函数，功能繁琐，使用不够灵活。 函数加工需要使用函数工作流服务，且还需要独立收费，长期使用增加成本。
"log")) 加工结果 { "type": "log", "content": "this is a log" } 父主题： 使用DSL加工函数清洗LTS日志数据
DSL仪表盘模板 DSL加工是LTS为您提供的一站式日志加工平台，基于领域自定义的脚本语言和200多个内置函数，您可以在LTS控制台实现端到端的日志规整、富化、流转、脱敏、过滤等加工任务。 云日志服务支持DSL（Domain Specific Language）仪表盘模板，DSL
创建DSL加工任务 DSL（Domain Specific Language）加工是LTS为您提供的一站式日志加工平台，基于领域自定义的脚本语言和200多个内置函数，您可以在LTS控制台实现端到端的日志规整、富化、流转、脱敏、过滤等加工任务。详细加工语法请参考DSL数据加工语法（邀测）。 前提条件
"__1__": 3 } e_regex函数 原始日志 { "k1":"q=asd&a=1&b=2&__1__=3" } 加工规则 # 自行指定字符集提取关键字和值 e_regex("k1",r"(\w+)=([a-zA-Z0-9]+)",{r"\1": r"\2"}) 加工结果 {
数据信息。云日志服务（LTS）提供的地图，包括中国地图和世界地图。您在查询和分析语句中使用特定函数（中国地图：ip_to_province函数，世界地图：ip_to_country函数）后，云日志服务（LTS）将以地图形式展示分析结果。 基本构成如下： 地图画布 色块 查看地图 登录云日志服务控制台。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
