检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景五：使用default传参为日志不存在的字段填充默认值 原始日志 { "content": "this is a log" } 加工规则： e_if(e_not_has("type"), e_set("type", "log")) 加工结果 { "type": "log"
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露，降低敏感数据泄露的风险，保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身
场景七：数据转化纳秒级的Unix时间戳 部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求，当原始日志中存在Unix时间格式字段，您可以使用e_set字段操作函数，将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time":
使用API接入LTS API接入概述 上报日志接口参考 上报高精度日志接口参考 父主题： 日志接入
志组中，日志组的名称可以使用应用系统的名称。 日志流规划建议： 如果您的日志是没有固定规则的日志，可以将类似组件的日志采集到同一个日志流，例如java组件、php组件、python组件。类似组件的日志采集到一个日志流的好处是日志流的数量不至于太多而难以管理，如果您的组件数量比较少
日志数据默认存储30天，可以在1~365天之间设置。 打开日志流的“日志存储时间”：日志的存储时间使用日志流设置的日志存储时间。 关闭日志流的“日志存储时间”：日志的存储时间使用日志组设置的日志存储时间。 超出存储时间的日志将会被自动删除，您可以按需将日志数据转储至OBS桶中进行长期存储。 目
使用SDK接入LTS 云日志服务Java SDK（标准插件） 云日志服务Java SDK （结构化日志上报） 云日志服务Java SDK（log4j2插件） 云日志服务LogBack SDK 云日志服务Go SDK 云日志服务Net SDK 云日志服务鸿蒙SDK 云日志服务Web
使用DSL加工函数进行事件判断 通过事件判断可以更好地对符合特定条件的数据进行相应操作，让加工逻辑更可靠。本文主要介绍使用函数进行事件判断的常见场景和最佳方案示例。 场景一：判断字段是否存在 原始日志 { "a": "a_value" } 加工规则 e_if(e_has("a")
同时云日志服务还提供多种编程语言的SDK供您使用，SDK的使用方法请参见使用SDK接入LTS。 终端节点 终端节点即调用API的请求地址，不同服务在不同区域的终端节点不同，您可以从地区和终端节点中查询所有服务的终端节点。 基本概念 账号 用户注册时的账号，账号对其所拥有的资源及云服务具有完全的访问权限，
e_switch函数是条件与操作的配对组合。依次根据条件进行判断，满足条件的进行对应操作。不满足条件的不进行对应操作，直接进行下一个条件判断。如果没有满足任一条件并且配置了default参数，则执行default配置的操作并返回。 e_switch(条件1, 操作1, 条件2, 操作2,
场景一：过滤LTS日志 您可以使用e_if函数与DROP参数、e_if_else函数与DROP参数过滤日志，也可以使用e_drop函数或e_keep函数过滤日志。 常用规则如下所示： e_keep(e_has(...))：满足条件时保留，不满足条件时丢弃。 e_drop(e_has(
场景二：使用e_set函数为日志空缺字段赋值 您可以使用e_set函数为日志空缺字段赋值。 场景1：原字段不存在或者为空时，为字段赋值。 e_set("result", "......value......", mode="fill") 示例如下所示： 原始日志 { "name":""
KAFKA协议的ACKS参数必须设置为0。 配置方式 使用Kafka协议上报日志时，需要使用到的通用参数如下。 表1 通用参数 参数名称 描述 类型 projectId 用户账号的项目ID（project id） String logGroupId LTS的日志组ID String logStreamId
场景三：删除和重命名字段（e_drop_fields函数和e_rename函数） 一般情况下，推荐您使用e_compose函数进行多个函数的组合操作。 示例如下所示： 原始日志 {"content":"123", "age":23, "name":"twiss", "IdNumber":1
使用FunctionGraph服务提供的函数模板进行日志加工 云日志服务提供函数加工，您可以基于函数服务提供的函数模板或者自定义函数，实现日志规整、流转、脱敏、过滤等功能。 约束与限制 目前此功能仅支持以下局点，其他局点需要提交工单申请使用。详细操作请参考提交工单。 华北-北京四
场景八：数据转化微秒级标准 ISO8601 时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求，当原始日志中存在标准 ISO8601时间格式的字段，您可以使用e_set字段操作函数，将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4"
在“定时SQL”页签，单击目标作业名称进入详情页面，可查看定时SQL任务的基本信息和执行实例。 每一个实例的上报的日志条数最多为100行。 修改定时SQL 在“定时SQL”页签，单击目标作业名称操作列对应的“修改”。 在弹出的页面中，修改表2。 定时SQL的任务名称和源日志组/流名称无法进行修改。 删除定时SQL
日期时间对象和日期时间字符串的相互转换 处理函数 dt_parse智能转换函数可以将日期时间字符串或Unix时间戳转换为日期时间对象。 dt_astimezone函数返回一个带新时区信息的日期时间对象。 场景1：不带时区信息的日期时间字符串转换成指定时区的日期时间对象。 对于不带时区信息的日期时间字符串2019-06-02
"d": 22222 } 子场景3：调用dt_parse函数和dt_parsetimestamp函数将字符串或日期时间转换为标准时间。 dt_totimestamp函数接收的参数类型为日期时间对象，不是字符串。因此需要调用dt_parse函数将time1的字符串值类型转化为日期时间
使用ICAgent采集日志时，推荐的日志轮转方案是什么？ 日志轮转也叫日志切割或日志绕接，通俗来讲是对日志文件的大小进行控制。 软件系统通常会长时间的不停机运行，这样会产生很多信息记录到不同的日志中。随着时间的推移，日志的容量自然会越来越大，而硬盘的空间是有限的，就需要对日志文件的大小进行控制。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
