检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LTS提供的IP与地域之间的关系，来自于第三方IP库，且数据是周期性更新（约半年），不承诺IP与地域关系完全正确；后续LTS会优化，缩短IP库的更新周期，为用户提供更好的体验。 单IP函数聚合查询的数据量上限为500万，查询的数据超出上限可能导致查询超时。 功能描述 IP函数是分析目
当新值非空，且目标字段不存在时，设置目标字段。 overwrite 总是设置目标字段。 overwrite-auto 当新值非空，设置目标字段。 父主题： DSL数据加工语法（邀测）
FlinkLtsLogProducer用于将数据写到云日志服务中。producer只支持Flink at-least-once语义，在发生作业失败的情况下，写入云日志服务中的数据有可能会重复，但是绝对不会丢失。 用法示例如下，我们将模拟产生的字符串写入云日志服务： // 将数据序列化成日志服务的数据格式
使用如下资源函数时，必须配置高级预览才能拉取到目标数据。 函数 说明 res_local 从当前数据加工任务中拉取高级参数配置信息。 支持和其他函数组合使用。 res_obs_file 从OBS中获取特定Bucket下的文件内容，支持定期更新数据。 支持和其他函数组合使用。 res_local
对接Grafana插件（Linux） Grafana是一个跨平台的开源的度量分析和可视化工具，可将通过将采集的数据查询进行可视化的展示，并及时通知。 LTS-Grafana是Grafana服务中的一个插件，它可以使用LTS的数据，并对数据进行可视化分析和展示。 前提条件 已安装Grafana。具体操作，请参见Grafana官方文档。
志流的数据。 一个日志流只能创建5个消费组。 一个消费组可以被多个消费者消费，每个消费者不会重复消费数据。 同一个租户（Project_Id）下，消费组名称唯一。 消费者 消费组的基本构成单元，承担消费任务，可以根据您的服务自行决定消费者数量。 Shard 云日志服务将数据必定保
全局操作函数 映射富化函数 字段值提取函数 字段操作函数 事件操作函数 流程控制函数 父主题： DSL数据加工语法（邀测）
t是否对日志数据进行采集）、采集Syslog日志到AOM、采集容器标准输出到AOM、ICAgent诊断开关。 设置采集开关 登录云日志服务控制台。 左侧导航选择“配置中心”，单击“ICAgent采集开关”。 ICAgent采集开关是用来控制ICAgent是否对日志数据进行采集。
已创建的集群名称。 test 数据库名称 集群的数据库名称。有两种数据库，分别是“gaussdb”和“postgres”。默认集群数据库为“gaussdb”。 gaussdb 用户名 数据库的管理员用户名。 lts-test 密码 数据库的管理员密码。 - schema名称 数据库对象的集合名称。
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题： DSL数据加工语法（邀测）
ua_parse_device(value) 参数说明 参数名称 数据类型 是否必填 说明 value String 是 待解析的User-Agent字符串。 返回结果 返回JSON类型的数据集。 函数示例 测试数据 { "http_user_agent":"Mozilla/5
overwrite,overwrite-auto 返回结果 返回附带新字段的日志。 函数示例 示例1：根据测试数据中pro字段的值和目标数据字典，输出新字段protocol。 测试数据 { "data": 123, "pro": 1 } 加工规则 e_dict_map( {"1":
本文介绍日期时间函数的语法规则，包括参数解释、函数示例等。 在DSL加工逻辑中，日志中的所有值都以字符串的形式存储，需要根据场景对数据类型进行转换。 日志中时间主要有以下三种数据类型，您可以根据本文提供的日期时间函数进行日期时间格式转换。 字符串，例如2022/07/03 02-41-26。
str_encode 对数据进行编码。 str_decode 对数据进行解码。 Base64类型 base64_encoding 对数据进行Base64编码。 base64_decoding 对数据进行Base64解码。 HTML类型 html_encoding 对数据进行HTML编码。
offset ] 数据类型 SQL查询中支持的数据类型如表1。如果当前字段数据类型需要改为其他数据类型，我们会进行数据类型的转换。例如STRING类型的字段转为LONG类型。字段数据类型转换之后的结果将会显示默认值，如STRING类型的数据转换为LONG类型的数据，结果会显示为LO
示例1：将k2满足正则表达式，输出到target2中。 测试数据 { "k1": "v1", "k2":"v2", "x1":"v3" , "x5": "v4" } 加工规则 此处e_drop()函数的作用是把e_if()函数过滤掉的数据做删除处理。如果不添加该函数，则被过滤的数据被投递到默认的存储目标中。创
日志组（LogGroup）是云日志服务进行日志管理的基本单位，用于对日志流进行分类，一个日志组下面可以创建多个日志流。日志组本身不存储任何日志数据，仅方便您管理日志流，每个账号下可以创建100个日志组。 一个日志组通常对应公司内的某一个项目/业务，建议将某个项目/业务下的多个应用/服
drop_packed Boolean 否 打包数据后是否删除被打包的原数据，默认为true。 true（默认值）：输出结果中删除被打包的原数据。 false：输出结果中不删除被打包的原数据。 返回结果 返回被打包后的日志数据。 函数示例 示例1：将日志所有字段打包到test字段，默认删除被打包的原始字段。
__topic__: login_failed_event 示例2：根据字段值判断后再提取数据。 当request_body字段存在且值非空时，调用字段类操作函数JSON将request_body字段展开成多个值。 测试数据 { "request_body": {\"k1": 100, \"k2\":
日志的字段名。 返回结果 字段存在返回true，不存在返回false。 函数示例 判断日志是否存在content字段，存在则保留，不存在则丢弃。 测试数据 { "content": 123 } 加工规则 e_keep(e_has("content")) 加工结果 content: 123 e_not_has
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
