检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一：展开和提取JSON对象 日志中包含JSON对象时，您可以通过e_json函数展开和提取对象。 示例：指定字段名精确提取JSON对象值，例如展开data字段值中的第一层键值对。 原始日志
在LTS控制台如何手动删除日志数据？ 不可以手动删除日志数据。LTS后台会根据设置的日志存储时间自动清理过期的日志数据。 设置日志存储时间请参考管理日志流。 父主题： 日志搜索与分析
Agent整体状态和ICAgent采集监控。 批量设置多个接入配置 支持同时批量设置多个接入配置，操作简单，不用重复配置即可快速完成多个场景的接入配置。 在“接入管理”页面，单击“批量接入”，进入配置详情页面，请参考表4。 表4 批量接入设置 类型 操作 说明 基本配置 接入类型
DSL数据加工语法（邀测） 概述 操作符函数 全局操作函数 父主题： 日志消费与加工
的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。 用户使用Flume系统采集日志，并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例： 使用Flume采集文本日志上报到LTS
Agent整体状态和ICAgent采集监控。 批量设置多个接入配置 支持同时批量设置多个接入配置，操作简单，不用重复配置即可快速完成多个场景的接入配置。 在“接入管理”页面，单击“批量接入”，进入配置详情页面，请参考表4。 表4 批量接入设置 类型 操作 说明 基本配置 接入类型
的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。 用户使用Flume系统采集日志，并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例： 使用Flume采集文本日志上报到LTS
划线、下划线以及小数点，且不能以小数点、下划线开头或以小数点结尾。 数据源配置：选择数据源类型，进行对应的数据源配置，详细请参考表2。 对挂载的网盘或者共享存储，配置多台机器同时采集，会导致日志重复。 表2 数据源配置参数 类型 参数配置 容器标准输出 采集集群内指定容器日志，仅支持Stderr和Stdout的日志。
xml_to_json 将xml数据转成JSON数据。 函数格式 xml_to_json(source) 参数说明 参数 类型 是否必填 说明 source String 是 传入需要被转换的字段。 返回结果 返回转换后的JSON数据。 函数示例 测试数据 { "str": "<data><country
success”时，表示卸载成功。 批量卸载：此操作适用于正常安装ICAgent后需批量卸载的场景。 当您已有服务器安装过ICAgent，且该服务器“/opt/ICAgent/”路径下存在ICAgent安装包ICProbeAgent.tar.gz，通过该方式可对多个服务器进行一键式继承批量卸载。 批量卸载的服
数据类型转换和转换函数 日期时间字符串、日期时间对象和Unix时间戳的相互转换方式和对应转换函数如下图所示。 上图所示的转换场景和对应的转换函数具体描述如下表所示。 转换场景 转换函数 日期时间对象和Unix时间戳的相互转换 日期时间对象转为Unix时间戳。 dt_parseti
64个字符，只支持输入英文、数字、中文、中划线、下划线以及小数点，且不能以小数点、下划线开头或以小数点结尾。 数据源配置：选择数据源类型，进行对应的数据源配置。支持的数据源类型有容器标准输出、容器文件路径、节点文件路径和K8S事件。 表1 采集配置参数表 类型 参数配置 容器标准输出
Agent整体状态和ICAgent采集监控。 批量设置多个接入配置 支持同时批量设置多个接入配置，操作简单，不用重复配置即可快速完成多个场景的接入配置。 在“接入管理”页面，单击“批量接入”，进入配置详情页面，请参考表4。 表4 批量接入设置 类型 操作 说明 基本配置 接入类型
offset ] 数据类型 SQL查询中支持的数据类型如表1。如果当前字段数据类型需要改为其他数据类型，我们会进行数据类型的转换。例如STRING类型的字段转为LONG类型。字段数据类型转换之后的结果将会显示默认值，如STRING类型的数据转换为LONG类型的数据，结果会显示为LO
已创建的集群名称。 test 数据库名称 集群的数据库名称。有两种数据库，分别是“gaussdb”和“postgres”。默认集群数据库为“gaussdb”。 gaussdb 用户名 数据库的管理员用户名。 lts-test 密码 数据库的管理员密码。 - schema名称 数据库对象的集合名称。
使用消费组管理消费数据（邀测） 创建消费组 使用Java SDK管理消费组 Flink消费 LTS-Flink-Connector参数说明 父主题： 日志消费与加工
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据，实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中，支持华北-北京四、华东-上海一、华南-广州局点，仅针对用户内测使用，后续将全网开放，敬请期待！ 场景一：过滤LTS日志
传入一个列表。 location Number 是 要插入的位置。 value1 String 是 要插入的元素。 value2 String 否 要插入的元素。 返回结果 返回插入元素后的列表。 函数示例 测试数据 { "ctx": ["k1","k2"] } 加工规则 e_set("hello"
数据仓库服务GaussDB(DWS)接入LTS 支持数据仓库GaussDB（DWS）日志接入LTS。 具体接入方法请参见集群日志管理。 父主题： 使用云服务接入LTS
SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 基于转储DLI功能，您可以轻松将LTS中的日志按照字段映射关系转储到DLI数据库表中，进行后续的大数据分析工作。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
