检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
加工复杂JSON数据 本文档主要为您介绍如何使用云日志服务数据加工功能对复杂的JSON数据进行加工。 多子键为数组的复杂JSON数据加工 程序构建的日志会以一种统计性质的JSON格式写入，通常包含一个基础信息以及多个子键为数组的数据形式。例如一个服务器每隔1分钟写入一条日志，包含
成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务，详细操作请参考云主机ECS文本日志接入LTS。 DNS日志示例以及字段含义 日志示例：2023-07-10 14:30:25 INFO client 192.168.2.50 query: example
LTS配置中心管理 设置LTS日志采集配额和使用量预警 设置LTS日志内容分词 设置ICAgent日志采集开关
数据富化 从OBS获取csv文件进行数据富化 使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 使用DSL加工函数过滤VPC流日志公网流量 父主题： 日志加工（邀测）
准备好需要采集日志的ECS主机，详细请参考购买弹性云服务器。如果您已有可用的ECS主机，可重复使用，不需要再次创建。 已下载及在ECS机器上安装Zabbix，详细请参考下载与安装Zabbix。 步骤一：配置监控数据存储路径 Zabbix会将监控数据保存在其所在的机器上，您可以根据如下步骤设置监控数据的存储路径。 登录Zabbix所在服务器。
您需要购买ECS作为Syslog汇聚服务器，Linux服务器默认自带Rsyslog，目前华为云主机默认未配置接收远程Syslog写入，需要手动开启。 方案概述 图1 方案流程图 你可以购买Linux云主机，配置为Syslog汇聚服务器，用于接收其他设备发送的日志数据；Syslo
单击“下一步：索引配置”。 步骤4：索引配置 索引配置（可选项），具体请参考设置LTS日志索引配置。 单击“提交”。 步骤5：完成接入配置 接入成功后会生成一条接入配置信息。 单击接入配置名称可进入详情页面，查看该接入配置详细信息。 单击接入配置操作列的“修改”重新修改接入配置信息。 单
单击“下一步：索引配置”。 步骤4：索引配置 索引配置（可选项），具体请参考设置LTS日志索引配置。 单击“提交”。 步骤5：完成接入配置 接入成功后会生成一条接入配置信息。 单击接入配置名称可进入详情页面，查看该接入配置详细信息。 单击接入配置操作列的“修改”重新修改接入配置信息。 单
数据保护技术 LTS通过多种数据保护手段和特性，保障LTS的数据安全可靠。 表1 LTS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密（HTTPS） LTS支持HTTPS传输协议，保证数据传输的安全性。 构造请求 日志冗余存储 日志数据以多副本方式存储，保障数据可靠性。
数据复制服务DRS接入LTS 支持数据复制服务（DRS）日志接入LTS。配置访问日志后，DRS实例（包含实时迁移、备份迁移、实时同步、实时灾备和录制回放实例）新生成的所有日志记录会上传到云日志服务（Log Tank Service，简称LTS）进行管理。 具体接入方法请参见日志配置管理。
记录了所有的修改数据库数据的操作（如UPDATE、INSERT、DELETE等）。 主要用于数据备份、恢复和复制。 可以通过配置参数log-bin来启用。 中继日志（Relay Log）： 在MySQL复制架构中，中继日志用于从主服务器的二进制日志文件中复制事件，并在从服务器上执行这些事件。
配置LTS日志转储至OBS后，OBS桶无法查看历史数据？ 在云日志服务LTS控制台，配置OBS转储后，OBS桶无法查看历史数据，是因为云日志服务配置的日志转储是将最新产生的日志转储到OBS桶中，不会对历史日志进行转储。 更多信息请参考日志转储至OBS。 父主题： 日志转储
文档数据库服务DDS接入LTS 支持文档数据库服务DDS日志接入LTS。 具体接入方法请参见日志配置管理。 父主题： 使用云服务接入LTS
云数据库GeminiDB接入LTS 支持云数据库GeminiDB日志接入LTS。配置访问日志后，GeminiDB Redis实例新生成的日志记录会上传到云日志服务（Log Tank Service，简称LTS）进行管理。 具体接入方法请参见日志配置管理。 父主题： 使用云服务接入LTS
中。 在数据化运营的过程中，发现数据采集困难，例如： 多渠道：各种渠道数据分散，例如广告商、推广人员等。 多终端：网页版、公众账号、手机、浏览器（Web、移动端页面）等。 异构网：VPC、用户自建IDC，华为云ECS等。 多开发语言：核心系统Java、前端Nginx服务器、后台支付系统C++。
机时您需选择LTS支持的操作系统，否则无法使用LTS对主机日志进行采集。 对于Linux x86_64服务器，LTS支持上表中所有的操作系统及版本。 对于Linux ARM服务器，CentOS操作系统仅支持7.4 及其以上版本，上表所列的其他操作系统对应版本均支持。 表1 LTS支持的操作系统及版本（Linux）
云数据库 TaurusDB接入LTS LTS支持云数据库 TaurusDB日志接入。 具体接入方法请参见日志配置管理。 父主题： 使用云服务接入LTS
慢查询日志的内容。 采集方法 使用ICAgent采集日志，接入前请参考安装ICAgent（区域内主机）完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务，详细操作请参考云主机ECS文本日志接入LTS。 Redis日志示例以及字段含义 系统日志（System
t是否对日志数据进行采集）、采集Syslog日志到AOM、采集容器标准输出到AOM、ICAgent诊断开关。 设置采集开关 登录云日志服务控制台。 左侧导航选择“配置中心”，单击“ICAgent采集开关”。 ICAgent采集开关是用来控制ICAgent是否对日志数据进行采集。
从而进行故障排除。 采集方法 使用ICAgent采集日志，接入前请参考安装ICAgent（区域内主机）完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务，详细操作请参考云主机ECS文本日志接入LTS。 Nginx日志示例以及字段含义 介绍访问日志和错误日志的示例和字段说明。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
