检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
手动输入：当用户选择手动输入时，可以在输入框中输入正则表达式，单击“生成字段”来进行字段提取。正则表达式通过分组来捕获字段，分组指用圆括号"()"括起来的正则表达式，匹配出的内容就表示一个分组，分组包含如下三种形式： (exp)：把括号内的正则作为一个分组，系统自动分配组号，规则为从正则表达式的左边开始，第一
value2, ...) 参数说明 参数名称 数据类型 是否必填 说明 key String 是 作为字典key的字符串。 value String 是 作为字典value的字符串。 返回结果 返回构建的字典。 函数示例 测试数据 { "content": "test" } 加工规则
IP地址函数 功能函数 对于IPv4地址函数，地址参数可以是IPv4点分十进制字符串（例如"192.168.0.1"）或表示为整数的IP地址（例如3232235521）。subnet 参数应该是一个字符串，格式为CIDR表示法中的IPv4地址子网（例如"192.168.0.0/16"）。
转换为常见的数据类型。 如果所有字段都为空值，则返回空值。如果只有部分字段为空值，这些字段会被忽略。 如果字段中既有数字也有字符串，则函数将它们作为字符串进行比较。 如果所有字段都是整数，则函数将它们作为LONG值进行比较。 如果所有字段都是数字且至少有一个是FLOAT值，则函数将它们作为FLOAT值进行比较。
处理函数 推荐dt_parse函数将Unix时间戳转换为日期时间字符串。 e_set函数中的tz参数设置会将不带时区的日期时间对象处理为带时区的，或将原时区的转换为目标时区。 Unix时间戳转换成带时区的时间字符串对象。 原始日志 { "time": 1562741899
源字段或源字段列表 字符串或字符串列表 是 字段名或多个字段名的列表。 pair_sep String 否 用于分隔键值对的正则字符集，默认为\s。例如\s\w、abc\s等。 说明 如果您需要使用字符串对字段进行分隔，推荐您使用str_replace或regex_replace将字符串转换成
即结果的类型有： 如果所有的参数都是 NULL，结果是 NULL，否则，NULL 参数被忽略。 如果所有的参数包含了数字和字符串的混合，参数都被解释为字符串。 如果所有的参数是整型数字，参数都被解释为长整型。 如果所有的参数是数值且至少一个参数是double，则参数都被解释为double。
"9c0ab8e4d9f4eb6fbd5c508bbca05951" } 场景9：字符串脱敏 若希望日志中的关键字符串不被暴露，可通过str_translate函数制定映射规则，对关键字符或字符串进行映射脱敏。 原始日志 { "content": "message level
径，仅供参考，请以实际安装路径为准）。 添加MySQL驱动到FLUME_HOME/lib目录下： 下载MySQL驱动。 wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.35
径，仅供参考，请以实际安装路径为准）。 添加MySQL驱动到FLUME_HOME/lib目录下： 下载MySQL驱动。 wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.35
不存在，那么e_match_all("f1", ...)结果为false。 正则 String 是 正则模式。如果需要使用纯粹字符串匹配时（非正则），可以使用函数str_regex_escape修饰正则。 full Bool 否 是否完全匹配，默认为true表示完全匹配。 返回结果
子场景3：调用dt_parse函数和dt_parsetimestamp函数将字符串或日期时间转换为标准时间。 dt_totimestamp函数接收的参数类型为日期时间对象，不是字符串。因此需要调用dt_parse函数将time1的字符串值类型转化为日期时间对象类型。您也可以直接使用dt_pars
截取的起始位置，默认为位置0。 end Num 否 截取的结束位置，不包含该位置，默认为字符串结尾位置。 step Num 否 每次截取的长度。 返回结果 返回提取后的字符串。 函数示例 示例1：对word字段从起点开始进行截取，结尾为2。 测试数据 { "word": "I,love,this
SELECT str1 NOT LIKE '*' x IS NULL 如果x是空值或空白字符串，则返回true。 SELECT str1 IS NULL x IS NOT NULL 如果x既不是空值也不是空白字符串，则返回true。 SELECT str1 IS NOT NULL x IN (values)
SQL函数 目前此功能处于邀测中，暂不支持用户开通，邀测期间可能会偶现查询慢，持续优化中。 聚合函数 字符串函数 日期和时间函数 正则式函数 同比和环比函数 窗口函数 类型转换函数 数学计算函数 URL函数 IP地址函数 电话号码函数 数组函数 父主题： 日志搜索与分析（管道符方式-邀测）
编码解码函数 本文介绍编码解码函数的语法规则，包括参数解释、函数示例等。 函数列表 分类 类型 函数 说明 编码与解码 字符串类型 str_encode 对数据进行编码。 str_decode 对数据进行解码。 Base64类型 base64_encoding 对数据进行Base64编码。
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题： DSL数据加工语法（邀测）
String 是 日志字段名，可以为正则表达式。当字段名完全满足条件时删除该字段，保留不满足条件的字段。关于正则表达式的更多信息，请参见正则表达式。至少需要配置一个日志字段。 regex Boolean 否 如果设置为false，表示不使用正则表达式进行匹配。当不配置该参数时，系统默认取值为true。
根据CFW资料中提供的日志字段被定义。 否 否 MYSQL错误日志 根据MYSQL资料中提供的日志字段被定义。 否 否 MYSQL慢日志 根据MYSQL资料中提供的日志字段被定义。 否 否 POSTGRESQL慢日志 根据POSTGRESQL慢日志资料中提供的日志字段被定义。 否 否 POSTGRESQL错误日志 根
根据CFW资料中提供的日志字段被定义。 否 否 MYSQL错误日志 根据MYSQL资料中提供的日志字段被定义。 否 否 MYSQL慢日志 根据MYSQL资料中提供的日志字段被定义。 否 否 POSTGRESQL慢日志 根据POSTGRESQL慢日志资料中提供的日志字段被定义。 否 否 POSTGRESQL错误日志 根
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
