检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文档主要为您介绍如何使用云日志服务数据加工功能对复杂的JSON数据进行加工。 多子键为数组的复杂JSON数据加工 程序构建的日志会以一种统计性质的JSON格式写入，通常包含一个基础信息以及多个子键为数组的数据形式。例如一个服务器每隔1分钟写入一条日志，包含当前信息状态，以及相关服务器和客户端节点的统计状态信息。
使用ICAgent采集日志，接入前请参考安装ICAgent（区域内主机）完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务，详细操作请参考云主机ECS文本日志接入LTS。 Redis日志示例以及字段含义 系统日志（System Log）： [12345] 2024-04-30
场景二：使用e_set函数为日志空缺字段赋值 您可以使用e_set函数为日志空缺字段赋值。 场景1：原字段不存在或者为空时，为字段赋值。 e_set("result", "......value......", mode="fill") 示例如下所示： 原始日志 { "name":""
完成日志采集规则配置后，可以云日志控制台实时查看上报的日志。 常用操作 搜索日志 设置快速查询语句 可视化 仪表盘 日志告警 转储至OBS 02 入门 快速了解云日志服务在不同应用场景中的操作流程。 快速入门 使用ICAgent插件采集ECS文本日志到LTS 04 SDK 通过云日志服务的SDK调用示例，您可以使用SDK上报日志。
使用ICAgent采集日志，接入前请参考安装ICAgent（区域内主机）完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务，详细操作请参考云主机ECS文本日志接入LTS。 Nginx日志示例以及字段含义 介绍访问日志和错误日志的示例和字段说明。 表1 访问日志字段说明
详细请参考云主机ECS文本日志接入LTS。 应用程序日志通过SDK写入LTS，详细请参考SDK概述。 采集服务端数据 支付宝和微信公众账号编程是典型的Web端模式，一般会有四种类型的日志，可以使用SDK上报日志的方式，详细请参考云日志服务支付宝小程序SDK、云日志服务微信小程序S
场景五：使用default传参为日志不存在的字段填充默认值 原始日志 { "content": "this is a log" } 加工规则： e_if(e_not_has("type"), e_set("type", "log")) 加工结果 { "type": "log"
DateTimeFormat模式）。 padding_value 补全的内容。包括： 0 或 zero：将缺失的值设置为0（默认值）。 null：将缺失的值设置为null。 last：将缺失的值设置了上一个时间点对应的值。 next：将缺失的值设置了下一个时间点对应的值。 avg：将缺失的值设置为前后两个时间点的平均值。
DESC 主动外联-应用分布图展示主动外联-应用分布的变化情况，所关联的查询分析语句如下所示： SELECT app, COUNT(*) AS num WHERE direction='in2out' GROUP BY app ORDER BY num DESC 主动外联源IP TOP5图展示主动外联源IP
不涉及。 文件打开行为 读取时打开，读取完后关闭。 不涉及。 首次日志采集行为 全量采集，从头开始。 不涉及。 表2 ICAgent性能规格 限制项 说明 备注 日志采集速率 原始日志单节点最大采集速率50MB/S。 超过限制尽可能提供服务，不保证服务质量。 监控目录数 目录
服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
支持虚拟私有云VPC日志接入LTS。 前提条件 购买并使用华为云VPC实例。 使用限制 目前支持的弹性云服务器，请参见VPC流日志简介。 设置VPC接入 云日志服务接入方式为虚拟私有云 VPC时，按照如下操作完成接入配置。 登录云日志服务控制台。 在左侧导航栏中，选择“接入 > 接入中心”，单击“虚拟私有云
在LTS控制台如何手动删除日志数据？ 不可以手动删除日志数据。LTS后台会根据设置的日志存储时间自动清理过期的日志数据。 设置日志存储时间请参考管理日志流。 父主题： 日志搜索与分析
通过ECS接入LTS采集Zabbix数据 Zabbix作为常用的开源监控系统，提供了丰富的告警规则用于系统监控。云日志服务LTS支持将Zabbix中的监控数据采集到日志流中。本文介绍通过ECS接入将Zabbix数据采集到云日志服务的操作步骤。 前提条件 准备好需要采集日志的ECS主
创建委托 登录统一身份认证服务控制台。 在左侧导航栏单击“委托”，进入委托页面。 单击右上角“创建委托”，具体操作请参考委托其他云服务管理资源，创建委托时参数设置要求参考如下。 委托类型：选择“云服务”。 云服务：选择“弹性云服务器 ECS 裸金属服务器 BMS”。 持续时间：选择“永久”。
在华为云华东-上海一购买ELB和云主机作为跳板机 登录云服务控制台，购买弹性云服务器 ECS。 非华为云上的服务器安装ICAgent，需要先在华为云上购买一台弹性云服务器作为跳板机。 购买弹性负载均衡 ELB，并添加TCP监听器和后端服务器组。 添加监听器。分别为端口3020
本文将详细介绍将阿里云主机日志采集到华为云云日志服务（LTS）的操作步骤，客户自建IDC和华为云上跨region采集日志的操作方式与采集阿里云主机日志的方式类似。 以下将阿里云-华北二北京局点的日志采集到华为云华东-上海一局点的LTS服务，云主机的操作系统为Linux环境。 资源规划
动规则关联SMN主题与消息模板，创建消息模板时，自定义通知消息配置。 前提条件 已创建一个主题。详细操作请参考创建主题。 已设置主题策略。详细操作请参考设置主题策略。 已为主题添加相关的订阅者，即通知的接收人（例如：邮件或短信）。详细操作请参考订阅主题。 注意事项 您最多可创建1
查询资源账单 这里设置的统计维度为“按使用量”，统计周期为“按账期”，您也可以设置其他统计维度和周期，详细介绍请参见流水与明细账单。 【样例二（LTS）：使用日志流ID查询账单】 按日志流维度上报话单功能仅支持白名单用户，若您需要使用请提工单申请开通。 登录云日志服务管理控制台。 在
15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
