检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 用户使用Flume系统采集日志,并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例: 使用Flume采集文本日志上报到LTS
采集第三方云厂商、互联网数据中心、华为云其他Region云主机日志到LTS 方案概述 云上用户经常会遇到多云或者跨Region采集日志的场景,典型场景有两种,分别是: 场景一:将互联网数据中心(Internet Data Center,以下简称IDC)或者第三方云厂商的日志采集到华为云LTS。
e_rename("IdNumber", "Id"))) 加工结果 { "Id": 1, "content": 123 } 父主题: 使用DSL加工函数清洗LTS日志数据
使用如下资源函数时,必须配置高级预览才能拉取到目标数据。 函数 说明 res_local 从当前数据加工任务中拉取高级参数配置信息。 支持和其他函数组合使用。 res_obs_file 从OBS中获取特定Bucket下的文件内容,支持定期更新数据。 支持和其他函数组合使用。 res_local
offset ] 数据类型 SQL查询中支持的数据类型如表1。如果当前字段数据类型需要改为其他数据类型,我们会进行数据类型的转换。例如STRING类型的字段转为LONG类型。字段数据类型转换之后的结果将会显示默认值,如STRING类型的数据转换为LONG类型的数据,结果会显示为LO
{ "type": "log", "content": "this is a log" } 父主题: 使用DSL加工函数清洗LTS日志数据
对接Grafana插件(Linux) Grafana是一个跨平台的开源的度量分析和可视化工具,可将通过将采集的数据查询进行可视化的展示,并及时通知。 LTS-Grafana是Grafana服务中的一个插件,它可以使用LTS的数据,并对数据进行可视化分析和展示。 前提条件 已安装Grafana。具体操作,请参见Grafana官方文档。
场景四:转换日志参数类型(v函数、cn_int函数和dt_totimestamp函数) 场景1:调用op_add函数进行字符拼接和数据相加。 op_add函数既可以接收字符串类型,也可以接受数值类型,因此不需要做参数类型转换。 示例如下所示: 原始日志 { "a":"1"
"error", "status1_info": "normal", "status2": 404 } 父主题: 使用DSL加工函数清洗LTS日志数据
云防火墙CFW接入LTS 支持云防火墙CFW日志接入LTS。LTS对于采集的日志数据,通过海量日志数据的分析与处理,可以为您提供一个实时、高效、安全的日志处理能力。 具体接入方法请参见配置日志。 父主题: 使用云服务接入LTS
采集第三方云厂商、互联网数据中心、华为云其他Region的Kubernetes日志到LTS 方案概述 云上用户经常会遇到多云或者跨Region采集Kubernetes日志场景,典型场景有两种,分别是: 场景一:将互联网数据中心(Internet Data Center,以下简称I
DMS重平衡日志 分布式消息服务Kafka版接入LTS - 14 DRS 数据复制服务 访问日志 数据复制服务DRS接入LTS - 15 DWS 数据仓库服务 CN节点日志 DN节点日志 操作系统messages日志 审计日志 数据仓库服务GaussDB(DWS)接入LTS - 16 ECS 弹性云服务器
DCS仪表盘模板 分布式缓存服务(Distributed Cache Service,简称DCS)是一款内存数据库服务,兼容了Redis内存数据库引擎,满足用户高并发及数据快速访问的业务诉求。云日志服务提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。
对接Grafana插件(Windows) Grafana是一个跨平台的开源的度量分析和可视化工具,可将通过将采集的数据查询进行可视化的展示,并及时通知。 LTS-Grafana是Grafana服务中的一个插件,它可以使用LTS的数据,并对数据进行可视化分析和展示。 前提条件 安装Grafana。 Grafana版本要求使用9
该接口用于查询指定日志流下的结构化日志内容(新版)。 新版查询功能支持的局点信息请参考用户指南-日志可视化里的可视化章节。数据聚合结果不超过100亿条。仅支持分析最近30天内的数据,30天以上的数据不支持SQL分析。如您有更大的使用需求,请提工单申请。 调用方法 请参见如何调用API。 URI POST
安全云脑SecMaster接入LTS 支持安全云脑SecMaster日志接入LTS。 具体接入方法请参见新增数据投递。 父主题: 使用云服务接入LTS
采集器隐私声明 由于LTS会将运维数据内容展示到LTS控制台,请您在使用过程中,注意您的隐私及敏感信息数据保护,不建议将隐私或敏感数据上传到LTS,必要时请加密保护。 采集器部署 在ECS上手动部署ICAgent过程中,安装命令会使用到您的AK/SK作为输入参数,安装前请您关闭系
LTS提供的IP与地域之间的关系,来自于第三方IP库,且数据是周期性更新(约半年),不承诺IP与地域关系完全正确;后续LTS会优化,缩短IP库的更新周期,为用户提供更好的体验。 单IP函数聚合查询的数据量上限为500万,查询的数据超出上限可能导致查询超时。 功能描述 IP函数是分析目
监控安全风险 LTS通过多种方式监控安全风险,保障数据安全可靠。 表1 LTS的监控安全风险 监控安全风险 简要说明 详细介绍 日志告警 LTS支持日志告警能力,包括关键词告警和SQL告警。 关键词告警:对日志流中的日志数据进行关键词统计,通过设置告警规则,监控日志中的关键词,通
<version>2.19.0</version> </dependency> 以0.6.75版本的IntelliJ IDEA为例:项目中导入JAR包 在IntelliJ IDEA中选择您的工程,选择“File > Project Structure”。 在Project Str