检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您可以通过自定义轮转规则来规避此问题。您可以为每条日志采集路径添加自定义轮转规则,基于正则表达式匹配轮转后的文件名,匹配成功的文件名会被识别为日志轮转文件,不会被重复采集。例如您的日志文件为/your/log/path/**/app1.log,轮转后的文件为/your/log/path/**/app1
关键词支持精确匹配和模糊匹配,区分大小写,输入长度不超过1024个字符。如何设置关键词搜索请参考LTS搜索语法介绍。 检测规则 配置触发条件,即满足该条件时,会触发告警。 匹配条数:当关键词搜索结果的日志条数达到设定的条数时,会触发告警。支持大于(>)、大于等于(>=)、小于(<)、小于等于(<=)4种比较运算符。
安全、高可用、高可靠、弹性伸缩和易用的数据库服务,同时提供一键部署、弹性扩容、容灾、备份、恢复、监控和告警等功能。云日志服务进行分析日志、搜索日志、日志可视化、下载日志和查看实时日志等操作。 云日志服务支持日志采集向导一站式采集DDS日志,DDS审计日志中心展示审计日志条数、访问用户数、访问客户端数等图表。
RESTful搜索和分析引擎。 Logstash是一个开源的、服务器端的数据处理管道,能够同时从多个来源实时接收、转换并将数据发送到用户选择的“存储库”。通常用于日志的收集、过滤和转发。 Kibana是一个开源的分析和可视化平台,用于数据的可视化、仪表盘创建和搜索查询。通常与Elasticsearch一起使用。
降低存储成本: 使用LTS在23年1130公测的冷存储特性,冷存储的日志存储单价比OBS仅贵25%,但是可以支持搜索,在易用性和成本上是最佳选择。 转储至OBS,优点是成本低,缺点是不支持搜索历史日志的内容,使用不便利。 大数据组件日志采集场景 场景描述:有些用户会使用MRS/Flink/S
中间件-ElasticSearch日志 ElasticSearch是一个开源的分布式搜索和分析引擎,被广泛用于构建实时的、可扩展的搜索和分析应用程序。它的主要作用是存储、搜索和分析大量的数据。ElasticSearch的日志是记录其运行过程中各种信息的重要工具,主要有以下两种类型:
使用logfile参数来指定日志文件的路径。 慢查询日志(Slow Query Log): 用于记录执行时间超过指定阈值的命令。这有助于识别和优化性能瓶颈。 慢查询日志的阈值(即命令执行时间的上限)可以通过 redis.conf 中的 slowlog-log-slower-than
云服务接入LTS概述 云日志服务(LTS)支持采集计算、存储、安全、数据库等多种华为云服务的日志数据,您可以使用LTS对云服务日志进行关键词搜索、运营数据统计分析、运行状况监控告警等多种操作。当前LTS支持采集的云服务日志如下表所示: 表1 云服务接入 序号 云服务简称 云服务名称
图1 修改日志流 单击“确定”。关闭日志存储后,日志不会存储到LTS,可节约索引流量和存储费用,只能使用日志生成指标、转储功能,不能使用日志搜索分析、告警、消费加工等其他功能。 父主题: 日志管理
删除单条或多条规则:勾选对应规则前的复选框,单击“批量删除”,随后在提示页面单击“确定”即可删除。 删除告警行动规则前需要先删除该行动规则绑定的告警规则。 搜索告警行动规则 在右上角的搜索框中输入规则名称关键字,单击后显示匹配对象。 父主题: 配置日志告警行动规则
实践。 表1 常用最佳实践 实践 描述 对华为云ELB日志进行分析 该解决方案介绍将ELB日志接入LTS后,配置日志结构化后,即可进行日志搜索分析。 通过仪表盘可视化分析ELB日志 该解决方案介绍当ELB日志接入云日志服务后,您可以通过SQL语句查询分析日志,将日志结果保存为多种
采集到日志数据按照结构化和非结构化进行分析。结构化日志是通过规则将日志流中的日志进行处理,提取出来有固定格式或者相似度高的日志内容做结构化的分类。 海量日志存储搜索 对采集的日志数据,可以通过关键字查询、模糊查询等方式简单快速地进行查询。 SQL统计和可视化图表 LTS提供多种开箱即用的日志仪表盘模板,用户接入日志后即可快速分析。
设置LTS日志内容分词 通过配置分词可将日志内容按照分词符切分为多个单词,在日志搜索时可使用切分后的单词进行搜索。初次使用时,LTS已默认进行了分词配置,默认配置的分词符为: , '";=()[]{}@&<>/:\\?\n\t\r 若默认分词符不能满足您的需求时,可按照如下操作进行自定义配置。
参数说明表 参数名称 必填 类型 描述 regionId 是 String 区域ID,登录console页面后在浏览器的地址栏中获取。 日志搜索界面,基础URL为: https://console.huaweicloud.com/lts/?region={regionId}&cfM
角,单击,在下拉框中选择“复制到其他仪表盘”,可将该图表复制到其他仪表盘。 复制搜索分析语句 选择待操作的仪表盘,将光标移至图表框右上角,单击,在下拉框中选择“复制搜索分析语句”,可复制该图表的搜索分析语句。 导出图表数据 选择待操作的仪表盘,将光标移至图表框右上角,单击,在下拉
在日志组列表中,单击待删除日志组操作列下的“删除”。 在弹出框中输入“DELETE”后,单击“确定”,完成日志组删除。 图1 删除日志组 搜索日志组/日志流 在日志组列表中,支持通过如下筛选条件进行搜索: 日志组/日志流 日志组原始名称/日志流原始名称 日志组名称/ID 日志流名称/ID 日志组标签 备注 其他操作
数据类型转换和转换函数 日期时间字符串、日期时间对象和Unix时间戳的相互转换方式和对应转换函数如下图所示。 上图所示的转换场景和对应的转换函数具体描述如下表所示。 转换场景 转换函数 日期时间对象和Unix时间戳的相互转换 日期时间对象转为Unix时间戳。 dt_parseti
在控制台顶部菜单栏中选择“费用 > 费用账单”,进入“账单概览”页面。 选择“流水和明细账单 > 明细账单”,在筛选条件中选择“资源ID”,并输入5复制的资源ID即可搜索该资源的账单。 查询时需要在企业项目ID加上“.lts.logstorage”,例如6fe5cacc-e5c7-45c4-96e1-a83a37dd263e
String 否 按照编码方式无法识别字符时的处理方案。取值包括: ignore:直接忽略。 strict:直接报错,丢弃此条日志数据。 replace(默认值):使用半角问号(?)替换无法识别部分。 xmlcharrefreplace:使用对应XML字符替换无法识别部分。 ignore_multi_fields
否 按照编码格式无法识别字符时的处理方式。取值包括: ignore(默认值):忽略不做编码。 strict:直接报错,丢弃此条日志数据。 replace:使用半角问号(?)替换无法识别部分。 xmlcharrefreplace:使用对应XML字符替换无法识别部分。 返回结果 返回编码后的字符串。