检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户有多条日志流需要转换成不同的日志流结构，一个函数只能转换一个日志流，使用不方便，有新增日志结构的时候就需要新增函数，功能繁琐，使用不够灵活。 函数加工需要使用函数工作流服务，且还需要独立收费，长期使用增加成本。 应用场景 提取结构化的数据，方便后续检索分析，生成仪表盘等。 日志减肥瘦身，节约后续使用成本。丢弃
概述 字段提取检查与覆盖模式，介绍字段提取模式mode参数的不同取值以及说明。请参考DSL加工（邀测）创建加工任务。 表1 参数说明 参数值 说明 fill 当目标字段不存在或者值为空时，设置目标字段。 fill-auto 当新值非空，且目标字段不存在或者值为空时，设置目标字段。
算术函数 本文介绍算术函数的语法规则，包括参数解释、函数示例等。 函数列表 如果值为负数，请使用op_neg(positive value)函数，例如：要表示-1，请使用op_neg(1)。 表1 算术函数列表 类型 函数 说明 多值计算比较 op_sum 对传入值进行求和操作。
采集器隐私声明 由于LTS会将运维数据内容展示到LTS控制台，请您在使用过程中，注意您的隐私及敏感信息数据保护，不建议将隐私或敏感数据上传到LTS，必要时请加密保护。 采集器部署 在ECS上手动部署ICAgent过程中，安装命令会使用到您的AK/SK作为输入参数，安装前请您关闭系
当月资源包没有使用完，会存到下个月吗？ 答：不会，资源包剩余量=总量-已使用量，资源包到期后，剩余资源不会结余，自动清零。 日志存储量超过购买资源包的使用量，如何计费？ 答：例如购买了1个100GB的存储资源包（总量为72000GB），第一天日志存储量为73000GB，到第二天存储资源包剩余量为0，
使用消费组管理消费数据（邀测） 创建消费组 使用Java SDK管理消费组 使用Go SDK管理消费组 Flink消费 LTS-Flink-Connector参数说明 父主题： 日志消费与加工
使用ICAgent采集日志，接入前请参考安装ICAgent（区域内主机）完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务，详细操作请参考云主机ECS文本日志接入LTS。 Kafka日志示例以及字段含义 由于Kafka本身并不直接提供系统日志的详细格式或字段定
使用ICAgent采集日志，接入前请参考安装ICAgent（区域内主机）完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务，详细操作请参考云主机ECS文本日志接入LTS。 Flink日志示例以及字段含义 系统日志示例： 2023-10-23 14:35:00,000
中间件-Nginx日志 Nginx是一个开源的、高性能的HTTP和反向代理服务器，以及IMAP/POP3/SMTP代理服务器。它具有其稳定性、丰富的功能集、简单的配置和低系统资源消耗等特点。Nginx常被用于处理静态文件、负载均衡、反向代理以及缓存等功能，适用于各种规模的网站和应用程序。
列表函数 本文介绍列表函数的语法规则，包括参数解释、函数示例等。 函数列表 函数 说明 lst_make 构建列表。 lst_insert 在列表特定位置插入元素。 lst_append 在列表结尾追加元素。 lst_delete_at 在列表特定位置删除元素。 lst_reverse
在LTS页面分析华为云WAF日志 方案概述 WAF（Web应用防火墙）通过对HTTP(S)请求进行检测，识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入等攻击，所有请求流量经过WAF时，WAF会记录攻击和访问的日志，可实时决策分析、对设备进行运维管理以及业务趋势分析。
使用DomainA（该账号仅供参考，请以实际账号为准）登录统一身份认证服务控制台。 在用户组页面创建IAM用户组（用户组名以GroupC为例）并授予全局服务中的Agent Operator权限，该权限仅能切换角色至委托方账号中，访问授权的服务，具体方法请参见：创建用户组并授权。 在用户页面创建I
使用DSL加工函数进行事件判断 通过事件判断可以更好地对符合特定条件的数据进行相应操作，让加工逻辑更可靠。本文主要介绍使用函数进行事件判断的常见场景和最佳方案示例。 场景一：判断字段是否存在 原始日志 { "a": "a_value" } 加工规则 e_if(e_has("a")
使用SDK-API消费日志（邀测） 云日志服务LTS提供SDK-API消费日志接口，用户可以通过调用SDK提供的基础API来消费日志。 目前此功能在邀测中，暂不支持申请开通。 前提条件 使用云日志SDK前，您需要注册华为云账号，并开通云日志服务。 确认云日志服务的区域，请用户根据所在区域，获取regionName。
的日志，用于记录MySQL服务器在运行时的各种活动和事件。这些日志对于数据库管理、性能调优、故障排查等方面都非常重要。以下是MySQL中常见的几种日志及其说明： 错误日志（Error Log）： 记录MySQL服务器启动、运行或停止时出现的问题，以及服务器运行时的错误或警告信息。
中间件-Redis日志 Redis的日志主要用于记录Redis服务器的运行状态、相关事件以及客户端执行的命令等信息。Redis的日志主要有系统日志和慢查询日志。 系统日志（System Log）： 记录Redis服务器的启动、关闭、配置加载、持久化操作（如 RDB 和 AOF）等系统级事件。
全局操作函数 映射富化函数 字段值提取函数 字段操作函数 事件操作函数 流程控制函数 父主题： DSL数据加工语法（邀测）
概述 本文介绍字符串函数的语法规则，包括参数解释、函数示例等。 函数列表 类型 函数 说明 多字符串操作 str_format 按照指定格式对字符串进行格式化。 str_join 通过连接符将输入的字符串连接生成一个新的字符串。 str_zip 将两个值或表达式的字符串进行并发分裂然后再合并成一个字符串。
聚合函数 本文介绍聚合函数的语法规则，包括参数解释、函数示例等。 函数列表 表1 聚合函数 函数 描述 approx_distinct函数 用于估算x中不重复值的个数。 approx_percentile函数 用于对x进行正序排列，返回处于percentage位置的数值。 arbitrary函数
窗口函数 本文介绍窗口函数的语法规则，包括参数解释、函数示例等。 函数列表 表1 窗口函数 函数 描述 ntile函数 用于将窗口分区内数据按照顺序分成N组。 ntile函数 用于将窗口分区内数据按照顺序分成N组。 语法： ntile(n) over ( [partition
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
