检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据仓库服务GaussDB(DWS)接入LTS 支持数据仓库GaussDB(DWS)日志接入LTS。 具体接入方法请参见集群日志管理。 父主题: 使用云服务接入LTS
分布式消息服务Kafka版接入LTS - 14 DRS 数据复制服务 访问日志 数据复制服务DRS接入LTS - 15 DWS 数据仓库服务 CN节点日志 DN节点日志 操作系统messages日志 审计日志 数据仓库服务GaussDB(DWS)接入LTS - 16 ECS 弹性云服务器 全量日志(ICAgent采集文本日志)
日志转储至DWS 数据仓库服务GaussDB(DWS) 是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。转储至数据仓库服务GaussDB(DWS) ,可以将日志中的结构化字段转储到DWS数据库表中,您可以根据业务场景选择是否使用DWS进行日志转储。
中连续捕获、传送和存储数TB数据。 数据仓库服务 GaussDB(DWS) 数据仓库服务(Data Warehouse Service,简称DWS)是完全托管的企业级云上数据仓库服务,具备高性能、低成本、易扩展等特性,满足大数据时代企业数据仓库业务诉求。适用于对海量日志进行存储,分析等场景。
搜索与分析限制 本文介绍云日志服务查询与分析的限制。 搜索 表1 日志搜索限制 限制项 说明 备注 日志采集到搜索时延 从日志产生到日志在控制台能被搜索到的时间间隔小于2分钟(非阻塞情况下)。 不涉及。 关键词个数 关键词,即单次查询时布尔逻辑符外的条件个数。每次查询最多30个。
分布式缓存服务DCS接入LTS 文档数据库服务DDS接入LTS DDoS防护 AAD接入LTS 分布式消息服务Kafka版接入LTS 数据复制服务DRS接入LTS 数据仓库服务GaussDB(DWS)接入LTS 弹性负载均衡 ELB接入LTS 企业路由器ER接入LTS 函数工作流FunctionGraph接入LTS
云日志服务提供数据加工功能,用于数据的规整、富化、脱敏和过滤。 数据规整:针对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数据仓库计算。 数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连接(JOIN),为日志添加更多维度的信息,用于数据分析。 数据
ELK:需要自己部署程序将日志转发到KAFKA。 LTS:页面简单配置可以将日志实时转储到KAFKA。 日志转储 转储到数据仓库 ☆☆☆☆☆ 无 ELK:无法直接将日志转储到数据仓库。 LTS:页面简单配置可以将日志转储到数据仓库。 日志加工 定时SQL作业 ☆☆☆☆☆ 无 ELK:没有定时SQL作业能力。 LTS
件、云服务接入、自建软件接入、API接入、SDK接入等多种方式将采集到的日志上报到LTS。日志接入LTS后,用户可以在云日志服务控制台搜索与分析日志、使用统计图表或仪表盘可视化展示日志统计结果、设置日志告警、设置日志转储等。 日志接入前,需要确认开启ICAgent采集开关,请参考设置LTS日志采集配额和使用量预警。
不可以手动删除日志数据。LTS后台会根据设置的日志存储时间自动清理过期的日志数据。 设置日志存储时间请参考管理日志流。 父主题: 日志搜索与分析
接通过公网与华为云当前区域LTS进行通信,将日志上报的LTS。但是由于公网的安全性可能较低,因此在实际生产环境中通常选择专线接入方式。 专线:区域外主机与华为云当前区域LTS通过跳板机或VPCEP的方式进行连通,安全性和稳定性都更高。在专线连通场景下,默认区域外主机与当前区域LT
创建告警行动规则 LTS提供告警行动规则定制功能,您可以通过创建告警行动规则关联SMN主题与消息模板,创建消息模板时,自定义通知消息配置。 前提条件 已创建一个主题。详细操作请参考创建主题。 已设置主题策略。详细操作请参考设置主题策略。 已为主题添加相关的订阅者,即通知的接收人(
应用与数据集成平台ROMA Connect接入LTS 支持应用与数据集成平台ROMA Connect日志接入LTS。 具体接入方法请参见查看API调用日志。 父主题: 使用云服务接入LTS
>函数加工”,进入函数模板页面。 根据实际需要,选择函数模板创建函数。 具体的操作步骤,请参见函数工作流《用户指南》。 父主题: 日志消费与加工
构建字典与表格进行数据富化 字典和表格是对数据进行富化时主要使用的两种数据结构,本文档主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。 字典构建 不同字典构建方式对比参考如下: 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。 如果
ent是云日志服务进行日志采集的工具,运行在需要采集日志的主机中。 操作视频 前提条件 安装ICAgent前,请确保本地浏览器的时间、时区与主机的时间、时区一致。如果不一致,可能会导致日志上报出错。 安装ICAgent的限制说明 Linux环境:ICAgent支持的Linux操作系统,请参考Linux操作系统。
日志,您需要在云主机上安装ICAgent,然后使用ECS接入配置日志采集路径。不建议使用SDK、API上报日志。使用ICAgent的好处是与应用系统完全解耦,无侵入,无需更改代码,使用SDK/API等方式步骤相对复杂,如果代码编写不当容易对应用系统的稳定性造成影响。 日志组规划建
DSL数据加工语法(邀测) 概述 父主题: 日志消费与加工
设置ICAgent日志采集开关 在“ICAgent采集开关”页签,支持设置ICAgent采集开关(控制ICAgent是否对日志数据进行采集)、采集Syslog日志到AOM、采集容器标准输出到AOM、ICAgent诊断开关。 设置采集开关 登录云日志服务控制台。 左侧导航选择“配置
概述 字段提取检查与覆盖模式,介绍字段提取模式mode参数的不同取值以及说明。请参考DSL加工(邀测)创建加工任务。 DSL加工的功能在邀测中,仅支持华北-北京四、华东-上海一、华南-广州局点的内测用户使用,其他局点暂不支持。 表1 参数说明 参数值 说明 fill 当目标字段不存在或者值为空时,设置目标字段。