检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DSL仪表盘模板 DSL加工是LTS为您提供的一站式日志加工平台，基于领域自定义的脚本语言和200多个内置函数，您可以在LTS控制台实现端到端的日志规整、富化、流转、脱敏、过滤等加工任务。 云日志服务支持DSL（Domain Specific Language）仪表盘模板，DSL
选择目标字段，将该字段在表格中隐藏。 表格配置 每页显示 每页显示的数据条数。 显示总数 显示表格数据的总条目数。 列配置 对齐方式 表格数据的对齐方式，支持左对齐，右对齐以及居中。 开启搜索 开启后，即可对表格列数据进行搜索功能。 开启排序 开启后，即可对表格列数据进行排序功能。 字体大小 表格字体的大小，取值范围为12px~24px
全局操作函数 映射富化函数 字段值提取函数 字段操作函数 事件操作函数 流程控制函数 父主题： DSL数据加工语法（邀测）
FlinkLtsLogProducer用于将数据写到云日志服务中。producer只支持Flink at-least-once语义，在发生作业失败的情况下，写入云日志服务中的数据有可能会重复，但是绝对不会丢失。 用法示例如下，我们将模拟产生的字符串写入云日志服务： // 将数据序列化成日志服务的数据格式
overwrite,overwrite-auto 返回结果 返回附带新字段的日志。 函数示例 示例1：根据测试数据中pro字段的值和目标数据字典，输出新字段protocol。 测试数据 { "data": 123, "pro": 1 } 加工规则 e_dict_map( {"1":
使用如下资源函数时，必须配置高级预览才能拉取到目标数据。 函数 说明 res_local 从当前数据加工任务中拉取高级参数配置信息。 支持和其他函数组合使用。 res_obs_file 从OBS中获取特定Bucket下的文件内容，支持定期更新数据。 支持和其他函数组合使用。 res_local
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题： DSL数据加工语法（邀测）
一个消费组只能对应一个日志流且消费这个日志流的数据。 一个日志流最多支持创建30个消费组。 一个消费组可以被多个消费者消费，每个消费者不会重复消费数据。 同一个日志流下，消费组名称唯一。 消费者 消费组的基本构成单元，承担消费任务，可以根据您的服务自行决定消费者数量。 Shard 云日志服务将数据必定保存在某一个Shard中，是数据存储的基本单元。
本文介绍日期时间函数的语法规则，包括参数解释、函数示例等。 在DSL加工逻辑中，日志中的所有值都以字符串的形式存储，需要根据场景对数据类型进行转换。 日志中时间主要有以下三种数据类型，您可以根据本文提供的日期时间函数进行日期时间格式转换。 字符串，例如2022/07/03 02-41-26。
续的大数据分析工作。 前提条件 日志已接入云日志服务（LTS）。 日志流已配置结构化规则。 已在DLI中创建数据库和表，创建数据库表时数据位置选择OBS，数据格式选择JSON。详细操作请参见创建数据库和表。 已在DLI中创建队列，该队列将用来将数据导入DLI的表中。详细操作请参见创建队列。
的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。 用户使用Flume系统采集日志，并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例： 使用Flume采集文本日志上报到LTS
的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。 用户使用Flume系统采集日志，并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例： 使用Flume采集文本日志上报到LTS
LTS数字图 数字图通常用来表示单一数据点或关键性指标，能够更好地展示单一信息和数据的相对大小，是一种非常清晰的信息展示方式，适用于需要重点突出关键信息和数据的场合。通过数字图可以快速地呈现信息和数据，使得用户能够快速、直观地理解数据的趋势和关键指标。 查看数字图 登录云日志服务控制台。
数示例等。 函数列表 表1 类型转换函数 函数 描述 cast函数 将值从一种数据类型转换为另一种数据类型，并将数据类型提供给动态参数。 cast函数 将值从一种数据类型转换为另一种数据类型，并将数据类型提供给动态参数。 在允许表达式的任何地方都允许使用铸造表达式。 语法：CAST(Expression
ua_parse_device(value) 参数说明 参数名称 数据类型 是否必填 说明 value String 是 待解析的User-Agent字符串。 返回结果 返回JSON类型的数据集。 函数示例 测试数据 { "http_user_agent":"Mozilla/5
drop_packed Boolean 否 打包数据后是否删除被打包的原数据，默认为true。 true（默认值）：输出结果中删除被打包的原数据。 false：输出结果中不删除被打包的原数据。 返回结果 返回被打包后的日志数据。 函数示例 示例1：将日志所有字段打包到test字段，默认删除被打包的原始字段。
__topic__: login_failed_event 示例2：根据字段值判断后再提取数据。 当request_body字段存在且值非空时，调用字段类操作函数JSON将request_body字段展开成多个值。 测试数据 { "request_body": {\"k1": 100, \"k2\":
日志的字段名。 返回结果 字段存在返回true，不存在返回false。 函数示例 判断日志是否存在content字段，存在则保留，不存在则丢弃。 测试数据 { "content": 123 } 加工规则 e_keep(e_has("content")) 加工结果 content: 123 e_not_has
boolean 选填 false historyQuery 是否消费历史数据（SDK版本最低必须为1.1.0支持此功能）。 选true时，可以消费开启日志流引擎之前的数据。 选false时，只能消费当开启了日志流引擎之后的数据。 boolean 选填 false proxyIp 使用自定义ip端口上报日志。
test_case id: 7892 content: this is a log test } 父主题： 使用DSL加工函数清洗LTS日志数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
