检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DSL数据加工语法（邀测） 概述 操作符函数 全局操作函数 父主题： 日志消费与加工
使用消费组管理消费数据（邀测） 创建消费组 使用Java SDK管理消费组 Flink消费 LTS-Flink-Connector参数说明 父主题： 日志消费与加工
全局操作函数 映射富化函数 字段值提取函数 字段操作函数 事件操作函数 流程控制函数 父主题： DSL数据加工语法（邀测）
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题： DSL数据加工语法（邀测）
特定结构化数据函数 本文介绍特定结构化数据函数的语法规则，包括参数解释、函数示例等。 类型 函数 说明 JSON json_select 根据JMES语法提取或计算JSON表达式中特定的值。 json_parse 将值解析为JSON对象。 XML xml_to_json 将xml数据转成JSON数据。
Flink消费 云日志服务LTS提供的LTS-Flink-Connector工具用于对接flink，包括消费者(Consumer)和生产者(Producer)两部分。 消费者用于从云日志服务中读取数据，支持exactly once语义，支持shard负载均衡，生产者用于将数据写入
通过设置黑名单，在采集时过滤指定的目录或文件。 目录和文件名支持完全匹配，也支持模糊匹配，具体可参考路径配置内容进行设置。 当设置的黑名单与配置的采集路径重复或者有重合时，优先过滤掉黑名单设置的文件。 已经加了黑名单的日志，新建日志接入也无法采集黑名单里的日志，除非在设置采集黑名单下方删除采集路径，才能重新采集。
创建消费组 您可以在华为云LTS控制台为日志流创建消费组，使用集成云日志服务Java SDK通过消费组消费数据。您无需关注SDK的实现细节以及消费者之间的负载均衡等，只需要关注业务逻辑。 云日志服务通过消费组消费数据，使用消费组功能之前，您需要了解以下基本概念。 目前此功能在邀测中，暂不支持申请开通。
字段操作函数 本文介绍字段操作函数的语法规则，包括参数解释、函数示例等。 函数列表 函数 说明 V 获得日志特定字段的值。当同时传入多个字段名时，返回日志中第一个存在的字段的值。支持和其他函数组合使用。 e_set 添加新字段或为现有字段设置新的字段值。支持和其他函数组合使用。 e_drop_fields
本文介绍映射富化函数的语法规则，包括参数解释、函数示例等。 函数列表 类型 函数 说明 字段映射 e_dict_map 与目标数据字典进行映射，根据输入的字段映射一个新字段。支持和其他函数组合使用。 e_table_map 与目标表格进行映射，根据输入的字段名称返回字段值。支持和其他函数组合使用。 搜索映射 e_search_dict_map
e_match_all 判断当前日志字段的值是否满足正则表达式，所有字段匹配返回true，否则返回false。 同时，事件检查函数可以与如下表达式函数配合使用： 类型 函数 说明 基本判断 op_and 逻辑and运算。 op_or 逻辑or运算。 op_not 逻辑not运算。
依次调用操作，将日志传递转换并返回最后的日志。 对于某一条日志，如果其中某一操作删除了日志，则不会再执行后续操作。 支持和其他函数组合使用。 e_if 条件与操作组合。 满足条件则进行对应操作，不满足条件则不进行对应操作，直接进行下一个条件判断。 对于某一条日志，如果其中某一操作删除了日志，则不会再执行后续操作。
日期时间函数 本文介绍日期时间函数的语法规则，包括参数解释、函数示例等。 在DSL加工逻辑中，日志中的所有值都以字符串的形式存储，需要根据场景对数据类型进行转换。 日志中时间主要有以下三种数据类型，您可以根据本文提供的日期时间函数进行日期时间格式转换。 字符串，例如2022/07/03
事件操作函数 本文介绍事件操作函数的语法规则，包括参数解释、函数示例等。 函数列表 类型 函数 说明 事件操作 e_drop 根据条件判断是否丢弃日志。支持和其他函数组合使用。 e_keep 根据条件判断是否保留日志。 e_keep函数和e_drop函数都会丢弃日志。e_keep
资源函数 本文介绍资源函数的语法规则，包括参数解释、函数示例等。 函数列表 使用如下资源函数时，必须配置高级预览才能拉取到目标数据。 函数 说明 res_local 从当前数据加工任务中拉取高级参数配置信息。 支持和其他函数组合使用。 res_obs_file 从OBS中获取特定
解析函数 本文介绍User-Agent解析函数的语法规则，包括参数解释、函数示例等。 函数列表 函数 说明 ua_parse_device 解析User-Agent中的设备信息。 ua_parse_os 解析User-Agent中的操作系统信息。 ua_parse_agent 解析User-Agent中的浏览器信息。
N展开、JMES提取或者JMES提取后再展开。支持和其他函数组合使用。 分隔符提取 e_csv、e_psv、e_tsv 使用自定义的分隔符与预定义的字段名，从特定字段中提取多个字段。 e_csv：默认分隔符为半角逗号（,）。 e_psv：默认分隔符为竖线（|）。 e_tsv：默认分隔符为\t。
字符串函数 概述 多字符串和排序、反转、替换 常见操作 查找判断、切分和格式化 字符集判断 父主题： 操作符函数
在相关接入配置页签，单击待解除配置所在行操作列的“解除关联”。 单击“确定”，解除该主机组与该接入配置的关联。 批量解除关联 在相关接入配置页签，勾选待解除的配置，单击“批量解除关联”。 单击“确定”，解除该主机组与所勾选的接入配置的关联。 复制主机组ID 鼠标悬浮在主机组名称上，支持复制主机组ID。
编码解码函数 本文介绍编码解码函数的语法规则，包括参数解释、函数示例等。 函数列表 分类 类型 函数 说明 编码与解码 字符串类型 str_encode 对数据进行编码。 str_decode 对数据进行解码。 Base64类型 base64_encoding 对数据进行Base64编码。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
