检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文档主要为您介绍如何使用云日志服务数据加工功能对复杂的JSON数据进行加工。 多子键为数组的复杂JSON数据加工 程序构建的日志会以一种统计性质的JSON格式写入，通常包含一个基础信息以及多个子键为数组的数据形式。例如一个服务器每隔1分钟写入一条日志，包含当前信息状态，以及相关服务器和客户端节点的统计状态信息。 日志样例
单击“所属日志组”后的目标框，在下拉列表中选择具体的日志组。若没有所需的日志组，单击“所属日志组”目标框后的“新建”，在弹出的创建日志组页面创建新的日志组。详细请参考管理日志组。 单击“所属日志流”后的目标框，在下拉列表中选择具体的日志流。若没有所需的日志流，单击“所属日志流”目标框后的“新建
志记录了客户端访问Nginx服务器的详细信息。通过访问日志，您可以了解到用户的IP地址、访问的URL、访问时间、请求的处理时间、HTTP响应状态码、请求的头部信息等。 错误日志（error_log）：错误日志记录了Nginx服务器在处理请求过程中遇到的错误和警告信息。通过查看错误
DN节点日志 操作系统messages日志 审计日志 数据仓库服务GaussDB(DWS)接入LTS - 16 ECS 弹性云服务器 全量日志（ICAgent采集文本日志） 云主机ECS文本日志接入LTS - 17 ELB 弹性负载均衡 7层访问日志（ELB） 弹性负载均衡 ELB接入LTS
通道名称 选择已创建的DIS通道。如果没有可选择的通道，单击“查看DIS通道”，进入数据接入服务管理控制台，创建接入通道。 - 转储格式 用于配置日志的转储格式，可选择“原始日志格式”和“JSON格式”。 原始日志格式示例： 云日志服务控制台展示的日志内容的格式为原始日志格式。 Sep
组中，日志组的名称可以使用应用系统的名称。 日志流规划建议： 如果您的日志是没有固定规则的日志，可以将类似组件的日志采集到同一个日志流，例如java组件、php组件、python组件。类似组件的日志采集到一个日志流的好处是日志流的数量不至于太多而难以管理，如果您的组件数量比较少（
业项目，则显示委托账号的全部企业项目。 default 日志流名称 选择已创建的日志流。 已配置过DLI集群转储的日志流不能重复配置。 - DLI-数据库 需要转储的目标DLI数据库名称。更多信息请参见DLI库表管理。 test DLI-数据表 需要转储的目标DLI数据库表名称。更多信息请参见DLI库表管理。
通过API上报日志。 云日志服务支持采集的文件类型（文件扩展名） 采集路径如果配置的是目录，示例：/var/logs/，则只采集目录下后缀为“.log”、“.trace”和“.out”的文件；如果配置的是文件名，则直接采集对应文件，只支持文本类型的文件，日志的时间（依赖机器的本地时区配置）必须是最近7天以内的。
约束与限制 VPN网关的本端子网与对端子网不能相同，即VPC和用户数据中心待互通的子网不能相同。 VPN网关和对端网关的IKE策略、IPsec策略、预共享密钥需要相同。 VPN网关和对端网关上配置的本端接口地址和对端接口地址需要互为镜像。 VPC内弹性云服务器安全组允许访问对端和被对端访问。
在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框，在下拉列表中选择具体的日志流，若没有所需的日志流，单击“所属日志流”目标框后的“新建”，在弹出的创建日志流页面创建新的日志流。 单击“下一步：选择主机组（可选）”。 步骤2：选择主机组（可选） 在主机组列表中选
云日志服务支持每个月500 MB/月的免费额度。 假设您有1台服务器，每天产生10MB原始日志，并开启全文索引，日志标准存储时长7天（存储日志的时长，只存7天的日志，第8天则会删除第一天的日志），未开启智能冷存储，使用云日志服务（LTS）30天，基于此场景，具体消费情况如下表1所示。 表格中的价格仅为示例，实际计算请以价格计算器中的价格为准。
略分发到后端多台服务器的流量分发控制服务。弹性负载均衡可以通过流量分发扩展应用系统对外的服务能力，同时通过消除单点故障提升应用系统的可用性，支持查看和分析对七层负载均衡HTTP和HTTPS进行请求的详细访问日志记录，包括请求时间、客户端IP地址、请求路径和服务器响应等。 ELB仪
完善的自我保护机制。为保证运行在服务器上的ICAgent，不会明显影响您服务器上其他服务的性能，ICAgent在CPU、内存及网络使用方面都做了严格的限制和保护机制。 ICAgent结构化解析规则 日志接入前，您需要提前了解ICAgent采集的结构化解析规则，方便快速操作。支持组合解析，一个日志流的每个采
略分发到后端多台服务器的流量分发控制服务。弹性负载均衡可以通过流量分发扩展应用系统对外的服务能力，同时通过消除单点故障提升应用系统的可用性，支持查看和分析对七层负载均衡HTTP和HTTPS进行请求的详细访问日志记录，包括请求时间、客户端IP地址、请求路径和服务器响应等。 ELB仪
持日志采集向导一站式采集NGINX日志，并为NGINX日志配置结构化和仪表盘。Nginx (engine x) 是一个高性能的HTTP和反向代理web服务器，同时也提供了IMAP/POP3/SMTP服务。 NGINX仪表盘模板支持查看NGINX秒级监控、查看NGINX访问中心和查看NGINX监控中心。
基于日志服务的集中管理能力。安装ICAgent后，只需要在日志服务上配置主机组、ICAgent采集配置等信息即可。 完善的自我保护机制。为保证运行在服务器上的ICAgent，不会明显影响您服务器上其他服务的性能，ICAgent在CPU、内存及网络使用方面都做了严格的限制和保护机制。
ana的简称，它们组合起来提供了业界最常用的日志分析和可视化工具。 Elasticsearch是一个基于Lucene的开源、分布式、RESTful搜索和分析引擎。 Logstash是一个开源的、服务器端的数据处理管道，能够同时从多个来源实时接收、转换并将数据发送到用户选择的“存储库”。通常用于日志的收集、过滤和转发。
日志存储时间(天) 日志流的存储时间，即日志上报到LTS后日志存储的时间。 日志数据默认存储30天，可以在1~365天之间设置。 打开日志流的“日志存储时间”：日志的存储时间使用日志流设置的日志存储时间。 关闭日志流的“日志存储时间”：日志的存储时间使用日志组设置的日志存储时间。 超出
控制台，创建专享版Kafka的topic topic-01 转储格式 用于配置日志的转储格式，可选择“原始日志格式”和“JSON格式”。 原始日志格式示例： 云日志服务控制台展示的日志内容的格式为原始日志格式。 Sep 30 07:30:01 ecs-bd70 CRON[3459]:
远程卸载：此操作适用于正常安装ICAgent后需远程卸载的场景。 除了上述登录服务器上执行uninstall.sh命令卸载ICAgent的方式，还可以对服务器进行远程卸载。 在已安装ICAgent的服务器上执行如下命令，其中x.x.x.x表示待卸载ICAgent的服务器的IP地址。 bash /opt/
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
