检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源函数 本文介绍资源函数的语法规则，包括参数解释、函数示例等。 函数列表 使用如下资源函数时，必须配置高级预览才能拉取到目标数据。 函数 说明 res_local 从当前数据加工任务中拉取高级参数配置信息。 支持和其他函数组合使用。 res_obs_file 从OBS中获取特定
Flink消费 云日志服务LTS提供的LTS-Flink-Connector工具用于对接flink，包括消费者(Consumer)和生产者(Producer)两部分。 消费者用于从云日志服务中读取数据，支持exactly once语义，支持shard负载均衡，生产者用于将数据写入
采集第三方云厂商、互联网数据中心、华为云其他Region的Kubernetes日志到LTS 方案概述 云上用户经常会遇到多云或者跨Region采集Kubernetes日志场景，典型场景有两种，分别是： 场景一：将互联网数据中心（Internet Data Center，以下简称I
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题： DSL数据加工语法（邀测）
在LTS页面分析Log4j格式的应用运行日志 背景信息 Log4j是Apache的一个开源项目，通过使用Log4j工具，我们可以将日志输出并保存到日志文件中，开发或运维人员会基于该日志统计日志级别的数量和占比，或者通过运行日志统计业务数据。 如统计今天某商品的交易量，示例日志如下：
创建消费组 您可以在华为云LTS控制台为日志流创建消费组，使用集成云日志服务Java SDK通过消费组消费数据。您无需关注SDK的实现细节以及消费者之间的负载均衡等，只需要关注业务逻辑。 云日志服务通过消费组消费数据，使用消费组功能之前，您需要了解以下基本概念。 目前此功能在邀测中，暂不支持申请开通。
采集器隐私声明 由于LTS会将运维数据内容展示到LTS控制台，请您在使用过程中，注意您的隐私及敏感信息数据保护，不建议将隐私或敏感数据上传到LTS，必要时请加密保护。 采集器部署 在ECS上手动部署ICAgent过程中，安装命令会使用到您的AK/SK作为输入参数，安装前请您关闭系
日志转储概述 主机和云服务的日志数据上报至云日志服务LTS后，LTS会根据配置的日志存储时间定时清理日志内容。例如日志存储时间为30天，上报到LTS的日志只保存30天，30天后开始删除日志内容。请以创建日志组或日志流时设置的日志存储时间为准，详情请参考管理日志组和管理日志流。超出
事件操作函数 本文介绍事件操作函数的语法规则，包括参数解释、函数示例等。 函数列表 类型 函数 说明 事件操作 e_drop 根据条件判断是否丢弃日志。支持和其他函数组合使用。 e_keep 根据条件判断是否保留日志。 e_keep函数和e_drop函数都会丢弃日志。e_keep
解析函数 本文介绍User-Agent解析函数的语法规则，包括参数解释、函数示例等。 函数列表 函数 说明 ua_parse_device 解析User-Agent中的设备信息。 ua_parse_os 解析User-Agent中的操作系统信息。 ua_parse_agent 解析User-Agent中的浏览器信息。
场景一：过滤LTS日志 您可以使用e_if函数与DROP参数、e_if_else函数与DROP参数过滤日志，也可以使用e_drop函数或e_keep函数过滤日志。 常用规则如下所示： e_keep(e_has(...))：满足条件时保留，不满足条件时丢弃。 e_drop(e_has(
字段操作函数 本文介绍字段操作函数的语法规则，包括参数解释、函数示例等。 函数列表 函数 说明 V 获得日志特定字段的值。当同时传入多个字段名时，返回日志中第一个存在的字段的值。支持和其他函数组合使用。 e_set 添加新字段或为现有字段设置新的字段值。支持和其他函数组合使用。 e_drop_fields
映射富化函数 本文介绍映射富化函数的语法规则，包括参数解释、函数示例等。 函数列表 类型 函数 说明 字段映射 e_dict_map 与目标数据字典进行映射，根据输入的字段映射一个新字段。支持和其他函数组合使用。 e_table_map 与目标表格进行映射，根据输入的字段名称返回字段值。支持和其他函数组合使用。
事件检查函数 本文介绍事件检查函数的语法规则，包括参数解释、函数示例等。 函数列表 类型 函数 说明 基本方法 e_has 判断日志字段是否存在。 e_not_has 判断日志字段是否不存在。支持和其他函数组合使用。 表达式函数 e_search 提供一种简化，类似Lucene语
流程控制函数 本文主要介绍流程控制函数的语法规则，包括参数解释、函数示例等。 函数列表 函数 说明 e_compose 用于组合一系列操作。 常用于e_if、e_switch、e_if_else中组合操作。 依次调用操作，将日志传递转换并返回最后的日志。 对于某一条日志，如果其中
日志转储至DIS DIS提供丰富的大数据分析能力，可以将大量日志文件传输到云端做备份，进行离线分析、存储查询及机器学习，还能用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件，提高数据处理性能。您可以根据业务场景选择是否使用DIS进行日志转储。 建议您优先使用转储至DMS。
编码解码函数 本文介绍编码解码函数的语法规则，包括参数解释、函数示例等。 函数列表 分类 类型 函数 说明 编码与解码 字符串类型 str_encode 对数据进行编码。 str_decode 对数据进行解码。 Base64类型 base64_encoding 对数据进行Base64编码。
使用DSL加工函数过滤VPC流日志公网流量 虚拟私有云VPC提供流日志功能，可以帮您采集指定VPC内网络实例的流量信息，包括入方向和出方向的流量。创建流日志后，您可以在配置的日志组中查看流日志记录。更多VPC流信息请参考VPC流日志概述。 在虚拟私有云VPC控制台上创建VPC流日
安全云脑SecMaster接入LTS 支持安全云脑SecMaster日志接入LTS。 具体接入方法请参见新增数据投递。 父主题： 使用云服务接入LTS
使用Java SDK管理消费组 消费组创建完成后，您可以使用集成云日志服务Java SDK通过消费组消费数据。 目前此功能在邀测中，暂不支持申请开通。 前提条件 使用云日志SDK前，您需要注册华为云账号，并开通云日志服务。 确认云日志服务的区域，请用户根据所在区域，获取regionName。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
