检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DSL加工函数处理日期时间 处理日期时间，将方便您对日志后续查询与可视化展示。本文档主要介绍使用函数进行日期时间数据类型转换和日期时间偏移。 概念解释 数据类型转换和转换函数 日期时间对象和Unix时间戳的相互转换 日期时间字符串和Unix时间戳的相互转换 日期时间对象和日期时间字符串的相互转换
使用定时SQL进行日志加工 云日志服务提供定时SQL功能，用于定时分析日志内容。定时SQL支持标准的SQL语法，按照调度规则周期性执行日志分析，并将分析结果存储到目标日志流。 目前此功能仅在华北-北京四、华南-广州、华东-上海一局点支持白名单用户提交工单申请使用，详细操作请参考提交工单，其他局点暂不支持该功能。
配置网络打通方案，使用跳板机或VPCEP的方式去连通LTS后端将数据转发到LTS。 跳板机：跳板机作为数据转发器，将区域外主机ICAgent采集到的数据转发给LTS。当您在进行测试，或者日志流量并不大的情况下，可以使用跳板机的方案。对于大流量日志场景推荐您使用VPCEP。 VPC
来采集日志并上报，不必再安装采集ICAgent。 目前此功能仅支持华北-北京四、华南-广州、华东-上海一、华东-上海二、亚太-新加坡，其他局点需要提交工单申请使用。 前提条件 使用云日志SDK前，您需要注册用户账号，并开通云日志服务。 确认云日志服务的区域，请用户根据所在区域，获取regionid。 获取华为账号的AK/SK。
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据，实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中，支持华北-北京四、华东-上海一、华南-广州局点，仅针对用户内测使用，后续将全网开放，敬请期待！ 场景一：过滤LTS日志
日志流需要开启匿名写入功能。详细操作请参考管理日志流。 版本更新说明 SDK如何处理个人信息请参考华为云日志服务移动端日志采集SDK隐私声明。 您集成和使用我们的SDK时需要遵从个人信息保护基本要求，详情请参考华为云日志服务移动端日志采集SDK开发者合规指南。 表1 版本更新说明 版本号 下载地址 更新说明 系统
使用消费组管理消费数据（邀测） 创建消费组 使用Java SDK管理消费组 Flink消费 LTS-Flink-Connector参数说明 父主题： 日志消费与加工
场景二：使用e_set函数为日志空缺字段赋值 您可以使用e_set函数为日志空缺字段赋值。 场景1：原字段不存在或者为空时，为字段赋值。 e_set("result", "......value......", mode="fill") 示例如下所示： 原始日志 { "name":""
场景六：使用e_if函数或e_switch函数判断日志并增加字段 推荐使用e_if函数或e_switch函数进行日志判断。更多信息，请参见流程控制函数。 e_if函数 e_if(条件1, 操作1, 条件2, 操作2, 条件3, 操作3, ....) e_switch函数 e_sw
每个工作负载至少部署2个实例。 使用建议： 日志采集方式： 建议使用采集器ICAgent采集日志，您可以使用CCE接入配置日志采集路径。不建议使用SDK、API上报日志。使用ICAgent的好处是与应用系统完全解耦，无侵入，无需更改代码，使用SDK/API等方式步骤相对复杂，如
浏览器、浏览行为记录、购买行为记录、终端设备记录，设备异常记录，网络使用记录等，可以直接使用iOS SDK上报日志到LTS。 当前仅支持华北-北京四、华东-上海一、华南-广州的白名单用户，如有需要请提工单申请。 传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作，完成注册。
览行为记录、购买行为记录、终端设备记录，设备异常记录，网络使用记录等，可以直接使用Android SDK上报日志到LTS。 当前仅华北-北京四、华东-上海一、华南-广州区域的白名单用户支持使用该功能，如有需要请提工单申请。 传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作，完成注册。
场景五：使用default传参为日志不存在的字段填充默认值 原始日志 { "content": "this is a log" } 加工规则： e_if(e_not_has("type"), e_set("type", "log")) 加工结果 { "type": "log"
使用DSL加工函数进行事件判断 通过事件判断可以更好地对符合特定条件的数据进行相应操作，让加工逻辑更可靠。本文主要介绍使用函数进行事件判断的常见场景和最佳方案示例。 场景一：判断字段是否存在 原始日志 { "a": "a_value" } 加工规则 e_if(e_has("a")
授权IAM用户使用云日志服务LTS 如果需要对您所拥有的云日志服务LTS（Log Tank Service）进行精细的权限管理，可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM可以进行如下操作： 根据企业的业务组织，
采集场景示例： 使用Flume采集文本日志上报到LTS 使用Flume采集数据库表数据并且上报至LTS 使用Flume采集syslog协议传输的日志上报到LTS 通过Flume采集TCP/UDP协议传输的日志上报到LTS 通过Flume采集SNMP协议上报的设备管理数据并发送到LTS
在日志总览页查看当前资源使用情况，详情请参考查看日志管理。 配置日志资源使用量预警 开启自定义日志资源使用量预警开关后，系统将自动为您创建一条告警规则（日志资源使用量预警）。当日志使用量超过当前配置的自定义日志资源使用量额度时，系统会发送告警通知。日志使用量包括日志读写流量、索引流量和标准存储量。
日志时间 举例说明 适用场景 上报日志 用户调用API上传一批日志时，通过log_time_ns字段指定一个初始时间。 每一条日志的日志时间，使用log_time_ns+顺序计数得到。 { "log_time_ns": "1586850540000000000", "contents":
采集场景示例： 使用Flume采集文本日志上报到LTS 使用Flume采集数据库表数据并且上报至LTS 使用Flume采集syslog协议传输的日志上报到LTS 通过Flume采集TCP/UDP协议传输的日志上报到LTS 通过Flume采集SNMP协议上报的设备管理数据并发送到LTS
上报日志接口参考 功能介绍 该接口用于主机上报租户日志给LTS。 接入点IP可在LTS控制台安装ICAgent的安装命令中获取，端口为8102，调用时使用该参数请参见请求示例。 关于上报日志的约束与限制请参考日志读写限制。 URI POST /v2/{project_id}/lts/grou
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
