检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用ICAgent采集日志时,推荐的日志轮转方案是什么? 日志轮转也叫日志切割或日志绕接,通俗来讲是对日志文件的大小进行控制。 软件系统通常会长时间的不停机运行,这样会产生很多信息记录到不同的日志中。随着时间的推移,日志的容量自然会越来越大,而硬盘的空间是有限的,就需要对日志文件的大小进行控制。
提取字符串动态键值对 本文档介绍如何使用不同方案提取字符串键值对。 常用方案比较 字符串动态键值对提取分为关键字提取、值提取、关键字加工和值加工,常用方案为采用e_kv函数、e_kv_delimit函数和e_regex函数等。不同提取场景的三种方案如下: 方案 关键字提取 值提取 关键字加工
服务韧性 LTS服务提供了3级可靠性架构,通过AZ内实例容灾、双AZ容灾、日志数据多副本技术方案,保障服务的持久性和可靠性。 表1 LTS服务可靠性架构 可靠性方案 简要说明 AZ内实例容灾 单AZ内,LTS实例通过多实例方式实现实例容灾,快速剔除故障节点,保障LTS实例持续提供服务。
Kafka)是一款基于开源社区版Kafka提供的消息队列服务,具备高效可靠的消息异步传递机制,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 主要用于不同系统间的数据交流和传递,在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。
跳板机:跳板机作为数据转发器,将区域外主机ICAgent采集到的数据转发给LTS。当您在进行测试,或者日志流量并不大的情况下,可以使用跳板机的方案。对于大流量日志场景推荐您使用VPCEP。 VPCEP:即VPC终端节点,能够提供便捷、安全的通道用于与华为云当前区域LTS进行连接,使VPC中的资源无需弹性公网IP就能够
ion的ICAgent无法直接访问华为云管理面上报日志的网段,需要配置跳板机进行数据转发;当您在进行POC测试,或者日志流量并不大的情况下,可以使用跳板机的方案。对于大流量的日志场景,如果您希望在生产环境中去掉跳板机,请提交工单给华为云网络技术支持工程师帮您设计网络直通的方案。 典型的跳板机配置是2vCPUs
使用DSL加工函数进行事件判断 通过事件判断可以更好地对符合特定条件的数据进行相应操作,让加工逻辑更可靠。本文主要介绍使用函数进行事件判断的常见场景和最佳方案示例。 场景一:判断字段是否存在 原始日志 { "a": "a_value" } 加工规则 e_if(e_has("a")
Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录LTS的管理事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。
LTS使用价格计算器,计算出来月成本约为107655元,使用LTS的成本约为自建ELK成本的28.8%,原因是LTS的存储收费是按用量付费,自建ELK为了保证集群的正常运行需要留有很多磁盘冗余。 总结 云日志服务LTS在功能、性能、成本方面对比ELK都有明显的优势,推荐您使用全托管式的云日志服务替代自建ELK。 父主题:
当前仅支持华北-北京四、华东-上海一、华南-广州、西南-贵阳一。 图1 方案架构 约束与限制 VPN网关的本端子网与对端子网不能相同,即VPC和用户数据中心待互通的子网不能相同。 VPN网关和对端网关的IKE策略、IPsec策略、预共享密钥需要相同。 VPN网关和对端网关上配置的本端接口地址和对端接口地址需要互为镜像。
ion的ICAgent无法直接访问华为云管理面上报日志的网段,需要配置跳板机进行数据转发;当您在进行POC测试,或者日志流量并不大的情况下,可以使用跳板机的方案。对于大流量的日志场景,如果您希望在生产环境中去掉跳板机,请提交工单给华为云网络技术支持工程师帮您设计网络直通的方案。 典型的跳板机配置是2vCPUs
打开日志流的“日志存储时间”开关:日志的存储时间使用日志流设置的日志存储时间。 云日志服务LTS根据配置的日志存储时间定时清理日志内容,例如日志存储时间为30天,上报到LTS的日志只保存30天,30天后开始删除日志内容。 30 标签 按照业务需求对不同的日志组添加对应的标签。本示例可不添加。
可以参考如下内容,进行具体的操作配置。 无服务器日志实时分析 该解决方案帮助您无服务器架构实现弹性云服务器 ECS日志的采集、分析、告警以及存档,基于云日志服务 LTS实时采集弹性云服务器 ECS的日志数据,通过函数工作流 FunctionGraph的LTS触发器自动获取日志数据
当日志超过每月免费赠送的额度(500M)时,超过的部分将按需收费。如果每月免费赠送的额度已经可以满足您的使用需求,超过后希望暂停日志收集,可以在配置中心进行设置。 该开关默认为开启状态,开启后表示当日志超过免费赠送的额度(500M)时,继续采集日志,超过的部分按需收费。 云日志服务的计费依据为
LTS提供解决方案参考如下图1,可以实现统一收集生产环境应用日志,开发人员检索分析日志,运维人员基于日志配置告警,实时感知现网业务,及时发现并解决故障问题。 图1 应用运维解决方案 应用场景2:安全合规 大型企业的每个业务部门都有独立的云账户实现资源隔离,每个业务部门的运维人员需要
首次使用ES时需要安装对应ES版本的python数据包,本次方案测试使用的elasticsearch为7.10.1版本。 pip install elasticsearch==7.10.1 方案测试使用的ES为华为云CSS服务创建的ES。 执行用来构造索引数据的python脚本,如果索引已经有数据,忽略这一步,直接执行6。
通过日志流标签统计不同部门在LTS的费用开销 为了统计企业内部不同部门在LTS的费用开销情况,您可以在LTS的日志流上添加标签用于识别不同的业务部门,LTS在上传话单给费用中心时会带上这些标签信息。您可以在“账单管理 > 流水和明细账单 > 明细账单”下载LTS的明细账单信息,然后基于资源
通过日志流标签统计不同部门在LTS的费用开销 为了统计企业内部不同部门在LTS的费用开销情况,您可以在LTS的日志流上添加标签用于识别不同的业务部门,LTS在上传话单给费用中心时会带上这些标签信息。您可以在“账单管理 > 流水和明细账单 > 明细账单”下载LTS的明细账单信息,然后基于资源
使用ICAgent收集日志时CPU占用较高怎么处理? 云日志服务LTS支持采集的日志类型和文件类型有哪些? 如何在LTS页面关闭CCE标准输出日志采集到AOM? 使用ICAgent采集日志时,推荐的日志轮转方案是什么? 是否支持Log4j插件上报日志到LTS? LTS配置日志接入后多久有日志?
在LTS页面分析华为云WAF日志 方案概述 WAF(Web应用防火墙)通过对HTTP(S)请求进行检测,识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入等攻击,所有请求流量经过WAF时,WAF会记录攻击和访问的日志,可实时决策分析、对设备进行运维管理以及业务趋势分析。