检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志转储至DIS DIS提供丰富的大数据分析能力，可以将大量日志文件传输到云端做备份，进行离线分析、存储查询及机器学习，还能用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件，提高数据处理性能。您可以根据业务场景选择是否使用DIS进行日志转储。 建议您优先使用转储至DMS。
添加快速查询 功能介绍 添加快速查询 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/groups/{group_id}/topics/{topic_id}/search-criterias 表1 路径参数 参数 是否必选 参数类型 描述
方案测试使用的ES为华为云CSS服务创建的ES。 执行用来构造索引数据的python脚本，如果索引已经有数据，忽略这一步，直接执行6。 python脚本需执行在ECS机器，脚本命名为xxx.py格式，构造数据请参考如下示例： 以下斜体字段需按照实际情况进行修改，参考示例是插入1000条数据，内容为：This is a
中，确保日志不丢失，实现数据持久化。 对象存储服务（Object Storage Service，简称OBS） 通过DIS服务，您可以将需要长期存储的日志转储至DIS，DIS可以将大量日志文件传输到云端做备份，进行离线分析、存储查询及机器学习，还能用于数据丢失或异常后的恢复和故障
CS主机，可重复使用，不需要再次创建。 已下载及在ECS机器上安装Zabbix，详细请参考下载与安装Zabbix。 步骤一：配置监控数据存储路径 Zabbix会将监控数据保存在其所在的机器上，您可以根据如下步骤设置监控数据的存储路径。 登录Zabbix所在服务器。 打开zabbix_server
数据保护技术 LTS通过多种数据保护手段和特性，保障LTS的数据安全可靠。 表1 LTS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密（HTTPS） LTS支持HTTPS传输协议，保证数据传输的安全性。 构造请求 日志冗余存储 日志数据以多副本方式存储，保障数据可靠性。
云数据库GeminiDB Cassandra接入LTS 支持云数据库GeminiDB Cassandra日志接入LTS。 如果您有需要请提工单给GeminiDB云服务开通。详细操作请参考提交工单。 父主题： 使用云服务接入LTS
数据富化 从OBS获取csv文件进行数据富化 使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 父主题： 日志加工（邀测）
加工复杂JSON数据 本文档主要为您介绍如何使用云日志服务数据加工功能对复杂的JSON数据进行加工。 多子键为数组的复杂JSON数据加工 程序构建的日志会以一种统计性质的JSON格式写入，通常包含一个基础信息以及多个子键为数组的数据形式。例如一个服务器每隔1分钟写入一条日志，包含
调度问题，如何帮助商家在高峰时提前备货？如何调度更多的快递员到指定区域？ 客服服务，用户反馈下单失败，用户背后的操作是什么？系统是否有错误？ 数据采集面临的难点 在数据化运营的过程中，第一步是如何将散落的日志数据集中收集起来，其中会遇到如下挑战： 多渠道：例如广告商、地推（传单）等。 多终端：网页版、公众账号、手机、浏览器（Web、移动端页面）等。
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一：展开和提取JSON对象 日志中包含JSON对象时，您可以通过e_json函数展开和提取对象。 示例：指定字段名精确提取JSON对象值，例如展开data字段值中的第一层键值对。 原始日志
批量安装功能依赖python3.*版本，如果安装时提示找不到python请在服务器上安装python版本后重试。 前提条件 已收集需要安装ICAgent的所有服务器的IP地址、root密码，按照iplist.cfg格式整理好，并上传到已安装过ICAgent机器的/opt/ICAgent/目录下。iplist
FlinkLtsLogProducer用于将数据写到云日志服务中。 producer只支持Flink at-least-once语义，在发生作业失败的情况下，写入云日志服务中的数据有可能会重复，但是绝对不会丢失。 用法示例如下，我们将模拟产生的字符串写入云日志服务： // 将数据序列化成日志服务的数据格式
购买弹性负载均衡 ELB，并添加TCP监听器和后端服务器组。 添加监听器。分别为端口30200、30201、8149、8923、8102添加监听器，具体请参见添加TCP监听器。 图3 添加监听器 添加云服务器。给后端服务器组添加所有跳板机，具体请参见添加后端服务器。 图4 添加云服务器 配置跳板机安全组规则，并开通转发端口。
时序过滤器类型：动态添加Label和Value进行过滤。在添加过滤器时，可以添加过滤条件，各个过滤条件之间使用AND连接。 前提条件 已成功采集到日志。 已添加图表到仪表盘。 日志流已配置结构化规则，具体操作请参考结构化配置。 限制条件 一个仪表盘最多可添加10个过滤器。 添加过滤器 登录
DSL数据加工语法（邀测） 概述 操作符函数 全局操作函数 父主题： 日志消费与加工
云数据库GaussDB接入LTS 支持云数据库 GaussDB日志接入LTS。 具体接入方法请参见对接LTS并查看数据库审计日志。 父主题： 使用云服务接入LTS
在LTS控制台如何手动删除日志数据？ 不可以手动删除日志数据。LTS后台会根据设置的日志存储时间自动清理过期的日志数据。 设置日志存储时间请参考管理日志流。 父主题： 日志搜索与分析
云数据库GeminiDB接入LTS 支持云数据库GeminiDB日志接入LTS。配置访问日志后，GeminiDB Redis实例新生成的日志记录会上传到云日志服务（Log Tank Service，简称LTS）进行管理。 具体接入方法请参见日志配置管理。 父主题： 使用云服务接入LTS
批量安装功能依赖python3.*版本，如果安装时提示找不到python请在服务器上安装python版本后重试。 前提条件 已收集需要安装Agent的所有服务器的IP地址、root密码，按照iplist.cfg格式整理好，并上传到已安装过ICAgent机器的“/opt/ICAgent/”目录下。iplist
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
