检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据富化 从OBS获取csv文件进行数据富化 使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 使用DSL加工函数过滤VPC流日志公网流量 父主题： 日志加工（邀测）
xml_to_json 将xml数据转成JSON数据。 函数格式 xml_to_json(source) 参数说明 参数 类型 是否必填 说明 source String 是 传入需要被转换的字段。 返回结果 返回转换后的JSON数据。 函数示例 测试数据 { "str": "<data><country
加工复杂JSON数据 本文档主要为您介绍如何使用云日志服务数据加工功能对复杂的JSON数据进行加工。 多子键为数组的复杂JSON数据加工 程序构建的日志会以一种统计性质的JSON格式写入，通常包含一个基础信息以及多个子键为数组的数据形式。例如一个服务器每隔1分钟写入一条日志，包含
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一：展开和提取JSON对象 日志中包含JSON对象时，您可以通过e_json函数展开和提取对象。 示例：指定字段名精确提取JSON对象值，例如展开data字段值中的第一层键值对。 原始日志
DSL数据加工语法（邀测） 概述 操作符函数 全局操作函数 父主题： 日志消费与加工
通过ECS接入LTS采集Zabbix数据 Zabbix作为常用的开源监控系统，提供了丰富的告警规则用于系统监控。云日志服务LTS支持将Zabbix中的监控数据采集到日志流中。本文介绍通过ECS接入将Zabbix数据采集到云日志服务的操作步骤。 前提条件 准备好需要采集日志的ECS
在LTS控制台如何手动删除日志数据？ 不可以手动删除日志数据。LTS后台会根据设置的日志存储时间自动清理过期的日志数据。 设置日志存储时间请参考管理日志流。 父主题： 日志搜索与分析
日志转储至DIS DIS提供丰富的大数据分析能力，可以将大量日志文件传输到云端做备份，进行离线分析、存储查询及机器学习，还能用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件，提高数据处理性能。您可以根据业务场景选择是否使用DIS进行日志转储。 建议您优先使用转储至DMS。
数据保护技术 LTS通过多种数据保护手段和特性，保障LTS的数据安全可靠。 表1 LTS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密（HTTPS） LTS支持HTTPS传输协议，保证数据传输的安全性。 构造请求 日志冗余存储 日志数据以多副本方式存储，保障数据可靠性。
宝等进行下单点菜，商家拿到订单后开始加工，并自动通知周围的快递员，最后由快递员将外卖送到用户手中。 在数据化运营的过程中，发现数据采集困难，例如： 多渠道：各种渠道数据分散，例如广告商、推广人员等。 多终端：网页版、公众账号、手机、浏览器（Web、移动端页面）等。 异构网：VPC、用户自建IDC，华为云ECS等。
中，确保日志不丢失，实现数据持久化。 对象存储服务（Object Storage Service，简称OBS） 通过DIS服务，您可以将需要长期存储的日志转储至DIS，DIS可以将大量日志文件传输到云端做备份，进行离线分析、存储查询及机器学习，还能用于数据丢失或异常后的恢复和故障
ua_parse_device(value) 参数说明 参数名称 数据类型 是否必填 说明 value String 是 待解析的User-Agent字符串。 返回结果 返回JSON类型的数据集。 函数示例 测试数据 { "http_user_agent":"Mozilla/5
添加快速查询 功能介绍 添加快速查询 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/groups/{group_id}/topics/{topic_id}/search-criterias 表1 路径参数 参数 是否必选 参数类型 描述
云数据库GeminiDB Cassandra接入LTS 支持云数据库GeminiDB Cassandra日志接入LTS。 如果您有需要请提工单给GeminiDB云服务开通。详细操作请参考提交工单。 父主题： 使用云服务接入LTS
支持创建日志指标规则，将上报到LTS的日志数据提取为指标来统一管理，便于后续在应用运维管理控制台的指标浏览、仪表盘界面实时查看数据。 背景信息 用户在LTS页面只需按照业务需要创建指标规则即可生成自己的统计报表，设置单个日志过滤条件或通过添加关联关系和添加组设置多个日志过滤条件，保留符合条
FlinkLtsLogProducer用于将数据写到云日志服务中。producer只支持Flink at-least-once语义，在发生作业失败的情况下，写入云日志服务中的数据有可能会重复，但是绝对不会丢失。 用法示例如下，我们将模拟产生的字符串写入云日志服务： // 将数据序列化成日志服务的数据格式
云数据库GeminiDB接入LTS 支持云数据库GeminiDB日志接入LTS。配置访问日志后，GeminiDB Redis实例新生成的日志记录会上传到云日志服务（Log Tank Service，简称LTS）进行管理。 具体接入方法请参见日志配置管理。 父主题： 使用云服务接入LTS
云数据库GaussDB接入LTS 支持云数据库 GaussDB日志接入LTS。 具体接入方法请参见对接LTS并查看数据库审计日志。 父主题： 使用云服务接入LTS
方案测试使用的ES为华为云CSS服务创建的ES。 执行用来构造索引数据的python脚本，如果索引已经有数据，忽略这一步，直接执行6。 python脚本需执行在ECS机器，脚本命名为xxx.py格式，构造数据请参考如下示例： 以下斜体字段需按照实际情况进行修改，参考示例是插入1000条数据，内容为：This is a
云数据库 TaurusDB接入LTS LTS支持云数据库 TaurusDB日志接入。 具体接入方法请参见日志配置管理。 父主题： 使用云服务接入LTS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
