检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 用户使用Flume系统采集日志,并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例:
开启后,显示待对比字段对应的值。 对比值格式化 将待对比数据按照指定格式进行显示。 对比值字号 待对比值的字号,取值范围为12px~50px。 对比值单位 待对比值的单位。 对比值单位字号 显示待对比值单位的字号,取值范围为12px~50px。 描述 对显示的数值及对比值趋势的描述,显示在数值下方。
Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 用户使用Flume系统采集日志,并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例:
柱状图是使用垂直或水平的柱子显示类别之间的数值比较,用于描述分类数据,并统计每一个分类中的数量。 云日志服务(LTS)提供的柱状图,有垂直柱子和水平柱子,矩形块宽度一定,高度代表数值大小。有多列数据映射到Y轴时,采用分组柱状形式显示。 默认采用垂直柱子,您可以根据自己的需要进行选择。基本构成如下:
Zabbix作为常用的开源监控系统,提供了丰富的告警规则用于系统监控。云日志服务LTS支持将Zabbix中的监控数据采集到日志流中。本文介绍通过ECS接入将Zabbix数据采集到云日志服务的操作步骤。 前提条件 准备好需要采集日志的ECS主机,详细请参考购买弹性云服务器。如果您已有可用的ECS主机,可重复使用,不需要再次创建。
时间字段 时间字段类型 云日志服务的保留字段__time__:用API/SDK写入日志数据时指定的日志时间,该字段可用于日志投递、查询、分析。 日志中原有的时间字段:日志在生成时,用于记录日志事件发生时间的字段,是原始日志的字段。 转换时间字段格式的方式: 将__time转化成时间戳
组合自定义正则表达式和默认字符集过滤 完全自定义 自定义 自定义 大部分键值对的提取使用e_kv函数并配置特定参数就可以很好地满足,尤其是带括字符和反斜杠需要提取并转义时。其他复杂或高级的场景可以用e_regex函数来提取。部分特定场景下的键值对使用e_kv_delimit函数会更简单。 关键字提取
当转储其他账号时,需填写委托人在IAM中创建的委托名称。 - 委托人账号名称 当转储其他账号时,需填写委托人的账号名称。 - 是否开启转储 默认开启转储。 开启 转储对象 选择转储的云服务。 OBS 日志组名称 选择已创建的日志组。 - 企业项目 选择已创建的企业项目。 如果当前账号未开通企业项目则不显示该参数。
阿里云主机日志的方式类似。 日志接入 采集第三方云厂商、互联网数据中心、华为云其他Region的Kubernetes日志到LTS 本实践主要介绍将阿里云Kubernetes日志采集到华为云LTS的操作步骤,互联网数据中心和华为云上跨Region采集日志的操作方式与采集阿里云主机日志的方式类似。
对威胁。云防火墙可以通过攻击事件日志查看检测到的危险流量的危险等级、受影响的端口、命中的规则、攻击事件类型等信息;通过访问控制日志查看根据访问控制策略放行或阻断的所有流量,以便更好的调整访问控制策略。 CFW仪表盘模板支持查看CFW访问日志中心、查看CFW流量日志中心和查看CFW攻击日志中心。
如果在使用ICAgent收集日志过程中遇到CPU占用较高(例如运行速度变慢/程序崩溃)的情况,请确认您配置的日志采集路径下是否有大量的日志文件,建议您定时清理,以减少ICAgent在收集日志过程中带来的系统资源占用。若还是无法解决,请联系技术支持协助。 父主题: 日志接入
进入弹性云服务器ECS控制台。 找到需要安装ICAgent的ECS主机,单击目标主机操作列的“远程登录”。 在弹出的“登录Linux云服务器”窗口中,选择“其他方式”下的VNC方式,单击“立即登录”。 在新打开的页面中,根据界面提示,输入用户购买弹性云服务器设置的root用户名和密码。 ECS登录成功后,执行ICAgent安装命令:
日志转储页面,转储状态异常是什么原因? 日志服务可以采集哪类日志? 如何转储云审计服务CTS的日志? 更多 智能客服 您好!我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。这里有来自各服务的技术牛人,为您解决技术难题。
单击“添加仪表盘”,在创建仪表盘页面,配置相关参数。 关于仪表盘参数的说明,请参见仪表盘。 将图表添加到仪表盘。 在创建仪表盘页面,单击“开始添加图表”,进入添加可视化图表界面,选择目标日志新建的可视化图表。 完成后,单击“确定”。 添加过滤器 根据设置的变量添加过滤器的操作步骤如下: 在左侧导航栏中,选择“仪表盘”。
23”。 INNER JOIN 两个表的结果(elb1,elb2)交集数据 示例 有两个表,access表示主机的接入指标包含路径,时延,状态码,host为主机指标包含cpu和内存。通过JOIN可以关联接入和主机指标,查看相同主机的不同维度的指标情况。 LEFT JOIN 查询语句
"user_tag":"string" } } 上报到LTS后: log3的日志时间为:1586850540000000000 log4的日志时间为:1586850540000000008 上传的一批日志是在不同时间、非顺序产生的,希望每条日志的时间单独指定。 表2 访问IP(accessip) 区域
使用LTS日志计费相关问题如下,具体单价请参考官网LTS价格详情说明。 原始日志流量及索引流量、读写流量的关系: 日志读写流量:读写流量根据传输的流量计算,传输流量为压缩后的日志大小,日志一般有5倍压缩率,原始日志流量为读写流量的5倍。 示例:原始日志为10GB,实际压缩大小为 2GB,则以2GB计费。 在
分析LTS日志 可视化提供对结构化后的日志字段进行SQL查询与分析的功能。对原始日志结构化后,等待1~2分钟左右,即可对结构化后的日志进行SQL查询与分析。 目前此功能支持全部用户使用的局点有:华南-广州、华北-北京四、华北-乌兰察布二零一、华北-乌兰察布一、华东-上海一、华东-
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露,降低敏感数据泄露的风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身份证号
云日志服务(LTS)目前支持的结构化模板有两种,分别为系统模板和自定义模板。 系统模板 支持多种系统模板,不支持修改系统模板的字段类型和删除字段,详情请参考表1。 在云端结构化解析页面中,日志结构化方式选择“结构化模板”。 在“选择模板”下,选择“系统模板”,选择对应的系统模板,模板日志从对应的云服务