检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在LTS页面分析华为云WAF日志 方案概述 WAF(Web应用防火墙)通过对HTTP(S)请求进行检测,识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入等攻击,所有请求流量经过WAF时,WAF会记录攻击和访问的日志,可实时决策分析、对设备进行运维管理以及业务趋势分析。
Web应用防火墙WAF接入LTS 支持Web应用防火墙 WAF接入LTS。 具体接入方法请参见通过LTS记录WAF全量日志。 父主题: 使用云服务接入LTS
使用日志搜索与分析(默认推荐)时,对应的WAF仪表盘模板支持查看WAF安全日志中心和查看WAF访问日志中心。 前提条件 已采集WAF日志,详情请参考Web应用防火墙WAF接入LTS。 日志配置结构化,详情请参见设置云端结构化解析日志。 查看WAF安全日志中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘
需要开通管道符后,使用日志搜索与分析(管道符方式-邀测)时,对应的WAF仪表盘模板支持查看WAF安全日志中心和查看WAF访问日志中心。 前提条件 已采集WAF日志,详情请参考Web应用防火墙WAF接入LTS。 日志配置结构化,详情请参见设置云端结构化解析日志。 查看WAF安全日志中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘
数据保护技术 LTS通过多种数据保护手段和特性,保障LTS的数据安全可靠。 表1 LTS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密(HTTPS) LTS支持HTTPS传输协议,保证数据传输的安全性。 构造请求 日志冗余存储 日志数据以多副本方式存储,保障数据可靠性。
DMS重平衡日志 分布式消息服务Kafka版接入LTS - 14 DRS 数据复制服务 访问日志 数据复制服务DRS接入LTS - 15 DWS 数据仓库服务 CN节点日志 DN节点日志 操作系统messages日志 审计日志 数据仓库服务GaussDB(DWS)接入LTS - 16 ECS 弹性云服务器
数据富化 从OBS获取csv文件进行数据富化 使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 使用DSL加工函数过滤VPC流日志公网流量 父主题: 日志加工(邀测)
加工复杂JSON数据 本文档主要为您介绍如何使用云日志服务数据加工功能对复杂的JSON数据进行加工。 多子键为数组的复杂JSON数据加工 程序构建的日志会以一种统计性质的JSON格式写入,通常包含一个基础信息以及多个子键为数组的数据形式。例如一个服务器每隔1分钟写入一条日志,包含
在LTS控制台如何手动删除日志数据? 不可以手动删除日志数据。LTS后台会根据设置的日志存储时间自动清理过期的日志数据。 设置日志存储时间请参考管理日志流。 父主题: 日志搜索与分析
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一:展开和提取JSON对象 日志中包含JSON对象时,您可以通过e_json函数展开和提取对象。 示例:指定字段名精确提取JSON对象值,例如展开data字段值中的第一层键值对。 原始日志
DSL数据加工语法(邀测) 概述 操作符函数 全局操作函数 父主题: 日志消费与加工
调度问题,如何帮助商家在高峰时提前备货?如何调度更多的快递员到指定区域? 客服服务,用户反馈下单失败,用户背后的操作是什么?系统是否有错误? 数据采集面临的难点 在数据化运营的过程中,第一步是如何将散落的日志数据集中收集起来,其中会遇到如下挑战: 多渠道:例如广告商、地推(传单)等。 多终端:网页版、公众账号、手机、浏览器(Web、移动端页面)等。
云数据库GaussDB接入LTS 支持云数据库 GaussDB日志接入LTS。 具体接入方法请参见对接LTS并查看数据库审计日志。 父主题: 使用云服务接入LTS
云数据库GeminiDB接入LTS 支持云数据库GeminiDB日志接入LTS。配置访问日志后,GeminiDB Redis实例新生成的日志记录会上传到云日志服务(Log Tank Service,简称LTS)进行管理。 具体接入方法请参见日志配置管理。 父主题: 使用云服务接入LTS
xml_to_json 将xml数据转成JSON数据。 函数格式 xml_to_json(source) 参数说明 参数 类型 是否必填 说明 source String 是 传入需要被转换的字段。 返回结果 返回转换后的JSON数据。 函数示例 测试数据 { "str": "<data><country
云防火墙CFW接入LTS 支持云防火墙CFW日志接入LTS。LTS对于采集的日志数据,通过海量日志数据的分析与处理,可以为您提供一个实时、高效、安全的日志处理能力。 具体接入方法请参见配置日志。 父主题: 使用云服务接入LTS
云数据库GeminiDB Cassandra接入LTS 支持云数据库GeminiDB Cassandra日志接入LTS。 如果您有需要请提工单给GeminiDB云服务开通。详细操作请参考提交工单。 父主题: 使用云服务接入LTS
通过ECS接入LTS采集Zabbix数据 Zabbix作为常用的开源监控系统,提供了丰富的告警规则用于系统监控。云日志服务LTS支持将Zabbix中的监控数据采集到日志流中。本文介绍通过ECS接入将Zabbix数据采集到云日志服务的操作步骤。 前提条件 准备好需要采集日志的ECS
数据类型转换和转换函数 日期时间字符串、日期时间对象和Unix时间戳的相互转换方式和对应转换函数如下图所示。 上图所示的转换场景和对应的转换函数具体描述如下表所示。 转换场景 转换函数 日期时间对象和Unix时间戳的相互转换 日期时间对象转为Unix时间戳。 dt_parseti
使用消费组管理消费数据(邀测) 创建消费组 使用Java SDK管理消费组 Flink消费 LTS-Flink-Connector参数说明 父主题: 日志消费与加工