检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志搜索与分析概述 日志搜索与分析是运维中不可或缺的一环。日志接入成功后,云日志服务(LTS)支持对采集成功的日志数据进行搜索与分析。通过合理的日志收集、高效的搜索方法和专业的分析工具,可以实现对系统或应用的全面监控和精细化管理。 执行搜索与分析前,需要将上报的日志进行结构化配置
变量后面的分号";"为英文符号,必须添加,否则模板会出现替换失败的情况。 topic String 邮件主题,只有sub_type=email时生效 状态码: 500 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码。 最小长度:8 最大长度:8
管理LTS主机组 主机组是为了便于分类管理、提升配置多个主机日志采集的效率,对主机进行虚拟分组的单位。云日志服务支持通过一个接入配置来采集多台主机上的日志,您可以将这些主机加入到同一个主机组,并将该主机组关联至对应的接入配置中,配置日志接入时以主机组为单位下发采集配置,方便您对多台主机日志进行采集。请参考图1。
组和日志流。创建日志组后,可以在该日志组下方创建多个日志流,方便对日志做进一步分类管理。创建日志流后,您可以将日志数据采集保存到日志流上,通过日志流对日志数据进行搜索分析、日志告警、日志转储、可视化展示、日志加工等。 为了快速了解并使用云日志服务LTS,建议您按照如下步骤进行操作:
支持对前100000条日志进行分析。 快速分析的目的是快速返回字段值的分布情况和变化趋势,并没有对全量数据进行分析,是一种采样结果。 支持通过查询时间和查询条件过滤日志进行分析。 快速分析是对通过查询语句查询到的日志进行分析,当查询到的日志数目为零时,快速分析没有结果。 支持将快速分析生成查询语句。 单击快
保存LTS快速查询日志条件 当您需要重复使用某一关键字搜索日志时,可以将其设置为快速查询语句,通过保存的快速查询语句,可实现对日志的快速执行查询和分析操作。 保存LTS快速查询日志条件 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组或日志流名称,进入日志详情页面。
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
记录等。这些信息被存储在特定位置,以便于后续的分析和应用,对于系统的运维、故障排查和业务分析都至关重要。 云日志服务提供实时日志接入功能,通过ICAgent插件、云服务接入、自建软件接入、API接入、SDK接入等多种方式将采集到的日志上报到LTS。日志接入LTS后,用户就可以在云
\.[0-9-\.]+\.[0-9]+\.biz\.log。 轮转后日志文件不建议压缩 如果您的日志打印速率较高,日志文件会快速轮转,此时轮转后的文件末尾可能会有少量日志还未被采集,ICAgent将通过Linux的inode识别采集文件的唯一性,如果您轮转后的日志文件是压缩文件,
责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。
内测使用,后续将全网开放,敬请期待! 背景信息 用户在LTS页面只需按照业务需要创建指标规则即可生成自己的统计报表,设置单个日志过滤条件或通过添加关联关系和添加组设置多个日志过滤条件,保留符合条件的日志,对用户特定时间范围内已结构化的日志进行动态统计,并将统计结果动态呈现到aom
无效。须将CCE集群页面中的挂载路径删除后,该配置才有效。 添加自定义绕接规则,ICAgent目前是通过文件名规则来判断是否为绕接文件,如果您的绕接规则不符合内置类型时,可以通过单击“添加自定义绕接规则”来进行匹配,避免重复采集和绕接时的日志丢失。 内置类型为{basename}{连接符}{绕接标识}
过滤器用于为仪表盘中的所有统计图表批量修改查询条件。每张统计图表实际为一个查询和分析语句,过滤器实质上是操作该查询和分析语句。 过滤器类型:通过日志字段的Key和Value进行过滤。在执行过滤器操作时,将其作为过滤条件增加到查询和分析语句前,使用AND或NOT连接。例如Key: Value
对华为云ELB日志进行分析 该解决方案介绍将ELB日志接入LTS后,配置日志结构化后,即可进行日志搜索分析。 通过仪表盘可视化分析ELB日志 该解决方案介绍当ELB日志接入云日志服务后,您可以通过SQL语句查询分析日志,将日志结果保存为多种图表,并将图表保存至仪表盘,从而使用仪表盘实时分析EL
Log4j是Apache的一个开源项目,通过使用Log4j工具,我们可以将日志输出并保存到日志文件中,开发或运维人员会基于该日志统计日志级别的数量和占比,或者通过运行日志统计业务数据。 日志搜索与分析 将LTS日志查询页面嵌入用户自建系统 本实践主要介绍通过统一身份认证服务IAM的联邦代理
在日志流创建或修改页面,开启智能冷存储功能,将标准存储层数据转为冷存储。 在开启智能冷存储功能后,如果标准存储时间增大,冷存储数据的存储时间仅对最新数据生效,冷存储数据不会重新转为标准存储。 在开启智能冷存储功能后,在可视化日志、仪表盘、定时SQL的查询时间范围查询日志时,不支持查询涉及冷存储
e_psv:默认分隔符为竖线(|)。 e_tsv:默认分隔符为\t。 支持和其他函数组合使用。 KV模式提取 e_kv 通过quote提取多个源字段中的键值对信息。支持和其他函数组合使用。 e_kv_delimit 通过分隔符提取源字段中的键值对信息。 e_regex 根据正则表达式提取字段的值并赋值给其他字段。
NFO 将日志分类,然后分发到不同的日志主题。 方案介绍 云日志服务支持通过创建DSL加工任务,将用户源日志流数据进行加工输出到目标日志流中,主要操作流程如下: 通过协同消费组对源日志流的数据进行读取。 通过加工规则对读取到的每一条数据进行加工处理。 将加工后的数据写入目标日志流
电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 Kafka可以应对大量日志传输场景,应用通过异步方式将日志消息同步到消息服务,再通过其他组件对日志做实时或离线分析,也可用于关键日志信息收集进行应用监控。 数据接入服务 DIS 数据接入服务(Data Ingestion
正则分析:使用正则表达式提取字段。 JSON:通过提取JSON字段将其拆分为键值对。 分隔符:使用分隔符(例如:冒号、空格或字符等)提取字段。 Nginx:通过log_format指令来自定义访问日志的格式。 结构化模板:通过自定义模板或系统内置模板提取字段。 云端结构化解析配置完成后,支持修改或删除结构化配置。