检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同比和环比函数 本文介绍同比和环比函数的语法规则，包括参数解释、函数示例等。 函数列表 表1 同比和环比函数 函数 描述 compare函数 用于对比当前时间周期内的计算结果与n秒之前时间周期内的计算结果。 ts_compare函数 用于对比当前时间周期内的计算结果与n秒之前时间周期内的计算结果。
时间通配符来划分多行日志；当选择“正则模式”时，则以正则表达式划分多行日志。 正则表达式 此配置是用来标识一条日志数据的正则表达式。日志格式选择“多行日志”格式后且“分行模式”已选择“正则模式”后需要设置。 时间通配和正则表达式均是从每行日志的开头进行严格匹配，如果匹配不上，则会
日志上报SendLog方法类参数说明 表2 SendLog方法类参数说明 参数名称 描述 类型 是否需要填写 groupId 日志组id string 是 streamId 日志流id string 是 log 日志结构 class Log 是 参数获取方式 上线区域表，使用华为云主机时参考以下信息：
length函数 如果字符串表达式是字符数据类型，则返回输入的字符长度；否则，返回字符串表达式的字节长度（不小于位数除以8的最小整数）。 char_length函数 与length函数功能一致，如果字符串表达式是字符数据类型，则返回输入的字符长度；否则，返回字符串表达式的字节长度（不小于位数除以8的最小整数）。
Table 是 映射关系的表格，表格某一列必须是查询字符串。 inpt String 是 表格中用于匹配搜索的字段名。 output_fields String，String List或Tuple List 是 表格中映射出的字段，可以是字符串、列表或者其名称映射元组的列表。 multi_match
数组函数 本文介绍数组函数的语法规则，包括参数解释、函数示例等。 函数列表 表1 数组函数 函数 描述 array函数 将输入的参数构造成数组，参数类型必须相同。 array_position函数 获取指定元素的下标，下标从1开始。如果指定元素不存在，则返回0。 cardinality函数
障数据精确一次（Exactly Once）。 不涉及。 表结构变更 如果投递过程中，在DWS表中添加非必须的新列，则不影响转储； 如果投递过程中，在DWS表中添加必须的新列，则会导致数据写入失败； 如果投递过程中，在DWS表中删除已配置转储规则的列，则会导致数据写入失败。 不涉及。
URL函数 本文介绍URL函数的语法规则，包括参数解释、函数示例等。 函数列表 表1 URL函数 函数 描述 url_encode函数 对URL进行编码。 url_decode函数 对URL进行解码。 url_extract_fragment函数 提取URL中的fragment信息。
String 是 日志字段名，可以为正则表达式。当字段名完全满足条件时删除该字段，保留不满足条件的字段。关于正则表达式的更多信息，请参见正则表达式。至少需要配置一个日志字段。 regex Boolean 否 如果设置为false，表示不使用正则表达式进行匹配。当不配置该参数时，系统默认取值为true。
本文介绍字典函数的语法规则，包括参数解释、函数示例等。 函数列表 函数 说明 dct_make 构建字典。 dct_update 更新字典。 dct_delete 删除字典值。 dct_keys 获取字典关键字列表。 dct_values 获取字典值列表。 dct_get 获取字典中某关键字的值。
单行-完全正则：适用任意格式的单行日志，使用正则表达式提取字段。填写正则匹配规则后，单击验证按钮，支持校验确保正则表达式的正确性。 多行-完全正则：适用任意格式的多行日志，使用正则表达式提取字段。首行正则表达式支持自动生成和手动输入，填写正则匹配规则后，单击验证按钮，支持校验确保正则表达式的正确性。 组合解
函数列表 类型 函数 说明 通用日期时间转换 dt_parse 将值或时间表达式的值转换为日期时间对象。 dt_str 将值或时间表达式的值转换为字符串。 dt_parsetimestamp 将值或时间表达式的值转换为Unix时间戳。 dt_prop 获取值或时间表达式值的特定属性，包括所属day、year等。
null None None ["v1", "v2", "v3"] ["v1", "v2", "v3"] 列表 ["v1", 3, 4.0] ["v1", 3, 4.0] 列表 {"v1": 100, "v2": "good"} {"v1": 100, "v2": "good"} 字典
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题： DSL数据加工语法（邀测）
数据规整：针对混乱格式的日志进行字段提取、格式转换，获取结构化数据以支持后续的流处理、数据仓库计算。 数据富化：对日志（例如订单日志）和维表（例如用户信息表）进行字段连接（JOIN），为日志添加更多维度的信息，用于数据分析。 数据脱敏：对数据中包含的密码、手机号、地址等敏感信息进行脱敏。
指定查找的子字符串。 begin Number 否 开始索引的位置。默认为0表示第一个字符，-1表示倒数第一个字符。 end Number 否 结束索引的位置。默认为字符串的长度。0表示第一个字符，-1表示倒数第一个字符。 返回结果 指定子字符串在原字符串中的位置。如果指定的子字
parse_csv函数构建表格，最后使用e_table_map函数进行字段匹配，返回指定字段和字段值，生成新的日志数据。 实践案例 原始日志 { "account":"Sf24asc4ladDS" } OBS Bucket中的CSV文件数据 表1 CSV文件数据 id account
ECS-文本日志”进行主机接入配置。 进入选择日志流页面。 单击“所属日志组”后的目标框，在下拉列表中选择具体的日志组（例如lts-group-ECS）。 单击“所属日志流”后的目标框，在下拉列表中选择具体的日志流（例如lts-topic-ECS）。 单击“下一步：选择主机组（可选）”。
单击日志组名称对应的按钮。 单击“创建日志流”，在创建日志流页面，参考表1填写日志流相关信息，需要开启“匿名写入”，适用于端侧SDK上报日志，打开匿名写入则表示该日志流打开匿名写入权限，不会经过有效鉴权，可能产生脏数据。 图1 创建日志流 表1 日志流参数说明 参数 说明 日志组名称 默认显示目标日志组名称。
数据富化 从OBS获取csv文件进行数据富化 使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 使用DSL加工函数过滤VPC流日志公网流量 父主题： 日志加工（邀测）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
