检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户有多条日志流需要转换成不同的日志流结构，一个函数只能转换一个日志流，使用不方便，有新增日志结构的时候就需要新增函数，功能繁琐，使用不够灵活。 函数加工需要使用函数工作流服务，且还需要独立收费，长期使用增加成本。 应用场景 提取结构化的数据，方便后续检索分析，生成仪表盘等。 日志减肥瘦身，节约后续使用成本。丢弃
概述 字段提取检查与覆盖模式，介绍字段提取模式mode参数的不同取值以及说明。请参考DSL加工（邀测）创建加工任务。 DSL加工的功能在邀测中，仅支持华北-北京四、华东-上海一、华南-广州局点的内测用户使用，其他局点暂不支持。 表1 参数说明 参数值 说明 fill 当目标字段不存在或者值为空时，设置目标字段。
算术函数 本文介绍算术函数的语法规则，包括参数解释、函数示例等。 函数列表 如果值为负数，请使用op_neg(positive value)函数，例如：要表示-1，请使用op_neg(1)。 表1 算术函数列表 类型 函数 说明 多值计算比较 op_sum 对传入值进行求和操作。
事件检查函数 本文介绍事件检查函数的语法规则，包括参数解释、函数示例等。 函数列表 类型 函数 说明 基本方法 e_has 判断日志字段是否存在。 e_not_has 判断日志字段是否不存在。支持和其他函数组合使用。 表达式函数 e_search 提供一种简化，类似Lucene语
映射富化函数 本文介绍映射富化函数的语法规则，包括参数解释、函数示例等。 函数列表 类型 函数 说明 字段映射 e_dict_map 与目标数据字典进行映射，根据输入的字段映射一个新字段。支持和其他函数组合使用。 e_table_map 与目标表格进行映射，根据输入的字段名称返回字段值。支持和其他函数组合使用。
twiss 更多参考 支持其他它函数组合使用。 e_keep_fields 调用e_keep_fields函数保留符合条件的日志字段。 日志服务中包含内置的元字段，例如__time__、__topic__等。如果在调用e_keep_fields函数时没有保留__time__字段，则
流程控制函数 本文主要介绍流程控制函数的语法规则，包括参数解释、函数示例等。 函数列表 函数 说明 e_compose 用于组合一系列操作。 常用于e_if、e_switch、e_if_else中组合操作。 依次调用操作，将日志传递转换并返回最后的日志。 对于某一条日志，如果其中
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一：展开和提取JSON对象 日志中包含JSON对象时，您可以通过e_json函数展开和提取对象。 示例：指定字段名精确提取JSON对象值，例如展开data字段值中的第一层键值对。 原始日志
frequency;", "sub_type" : "voice" } ], "type" : [ ] } 状态码： 500 表明服务端能被请求访问到，但是服务内部出错。 { "error_code" : "LTS.2018", "error_msg" : "Failed to
ent是否对日志数据进行采集）、采集Syslog日志到AOM、采集容器标准输出到AOM、ICAgent诊断开关。 设置采集开关 登录云日志服务控制台。 左侧导航选择“配置中心”，单击“ICAgent采集开关”。 ICAgent采集开关是用来控制ICAgent是否对日志数据进行采集。
解析函数 本文介绍User-Agent解析函数的语法规则，包括参数解释、函数示例等。 函数列表 函数 说明 ua_parse_device 解析User-Agent中的设备信息。 ua_parse_os 解析User-Agent中的操作系统信息。 ua_parse_agent 解析User-Agent中的浏览器信息。
字典函数 本文介绍字典函数的语法规则，包括参数解释、函数示例等。 函数列表 函数 说明 dct_make 构建字典。 dct_update 更新字典。 dct_delete 删除字典值。 dct_keys 获取字典关键字列表。 dct_values 获取字典值列表。 dct_get
转换函数 本文主要介绍操作符函数的语法规则，包括参数说明、函数示例等。 函数列表 表1 转换函数列表 类型 函数名称 功能描述 基础类型转换 ct_int 将字段或表达式的值转换为整数。 ct_float 将字段或表达式的值转换为浮点数。 ct_str 将字段或表达式的值转换为字符串。
主机接入LTS后无法采集到日志？ 如果主机接入LTS后无法采集到日志，请按如下方法进行排查： 刚完成接入配置则需要等待1~5分钟，日志才会开始上报。 排查相同主机的同一个日志采集路径，是否已在AOM进行了配置。在AOM配置后则不能在LTS重复配置。 参考ECS接入排查是否存在不规范的配置导致日志采集失败。
日期时间函数 本文介绍日期时间函数的语法规则，包括参数解释、函数示例等。 在DSL加工逻辑中，日志中的所有值都以字符串的形式存储，需要根据场景对数据类型进行转换。 日志中时间主要有以下三种数据类型，您可以根据本文提供的日期时间函数进行日期时间格式转换。 字符串，例如2022/07/03
String 开关参数 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 从IAM服务获取的用户Token，获取方式请参见：获取用户Token Content-Type 是 String 该字段填为：application/json;charset=utf8。
示例2：查询账号下所有日志组 场景描述 本章以查询账号下所有日志组信息为例。 涉及其它云服务接口 无。 查询日志组 接口相关信息 URI格式：GET /v2/{project_id}/groups 请求示例 GET https://{endpoint}/v2/{project_id}/groups
创建委托 登录统一身份认证服务控制台。 在左侧导航栏单击“委托”，进入委托页面。 单击右上角“创建委托”，具体操作请参考委托其他云服务管理资源，创建委托时参数设置要求参考如下。 委托类型：选择“云服务”。 云服务：选择“弹性云服务器 ECS 裸金属服务器 BMS”。 持续时间：选择“永久”。
使用ICAgent采集日志，接入前请参考安装ICAgent（区域内主机）完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务，详细操作请参考云主机ECS文本日志接入LTS。 Kafka日志示例以及字段含义 由于Kafka本身并不直接提供系统日志的详细格式或字段定
使用ICAgent采集日志，接入前请参考安装ICAgent（区域内主机）完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务，详细操作请参考云主机ECS文本日志接入LTS。 Flink日志示例以及字段含义 系统日志示例： 2023-10-23 14:35:00,000
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
