检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置云端结构化字段和tag字段 设置云端结构化字段 在进行结构化配置字段提取之后,可对结构化字段进行设置,详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析(自动生成) 用户自定义。 名称必须以字母开始,且仅包含字母和数字。
结构化模板:适用于日志结构比较复杂或需要自定义提取key-value键值的场景,可以通过内置系统模板或者自定义模板提取字段。 结构化后的日志数据可理解为数据库中的二维表,结构化配置完成后就可以使用SQL语句对提取的字段进行查询与分析。 使用限制 若未配置索引配置,结构化字段默认分词符为空,最大长度限制为20KB,超过部分会被截断。
结构化模板:适用于日志结构比较复杂或需要自定义提取key-value键值的场景,可以通过内置系统模板或者自定义模板提取字段。 结构化后的日志数据可理解为数据库中的二维表,结构化配置完成后就可以使用SQL语句对提取的字段进行查询与分析。 使用限制 若未配置索引配置,结构化字段默认分词符为空,最大长度限制为20KB,超过部分会被截断。
使用时间函数将日志时间字段转换为指定格式 在日志搜索分析中往往需要对日志中的时间字段进行处理,例如将日志的时间戳转换成指定格式等,本文介绍时间字段的常用转换示例。 本示例属于白名单功能,支持华北-北京四、华东-上海一、华南-广州、亚太-新加坡、拉美-墨西哥城二区域的白名单用户使用
设置云端结构化字段和tag字段 设置云端结构化字段 在进行结构化配置字段提取之后,可对结构化字段进行设置,详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析(自动生成) 用户自定义。 名称必须以字母开始,且仅包含字母和数字。
日志结构化概述 日志数据可分为结构化数据和非结构化数据。结构化数据指能够用数字或统一的数据模型加以描述的数据,具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据,数据结构不规则或不完整,没有预定义的数据模型。 日志结构化是以日志流为单位,通过不同的日志提取方
将LTS日志查询页面嵌入用户自建系统 LTS支持将日志查询界面嵌入到客户自建系统。通过统一身份认证服务IAM的联邦代理机制实现用户自定义身份代理,再将登录链接嵌入至客户自建系统实现无需在华为云官网登录就可在自建系统界面查询LTS日志。 应用场景 该功能主要用于用户可以在自建系统免
将LTS日志查询页面嵌入用户自建系统 LTS支持将日志查询界面嵌入到客户自建系统。通过统一身份认证服务IAM的联邦代理机制实现用户自定义身份代理,再将登录链接嵌入至客户自建系统实现无需在华为云官网登录就可在自建系统界面查询LTS日志。 应用场景 该功能主要用于用户可以在自建系统免
M进行了配置,则不能在LTS重复配置。 配置采集的文件最后修改时间和当前时间差如果已超过12小时,则不会采集。 LTS暂不支持采集PostgreSQL(数据库)实例的日志。 采集配置名称:自定义采集配置名称,长度范围为1到64个字符,只支持输入英文、数字、中文、中划线、下划线以及
路径可以通过主机组来控制采集配置接入。 配置采集的文件最后修改时间和当前时间差如果已超过12小时,则不会采集。 LTS暂不支持采集PostgreSQL(数据库)实例的日志。 采集配置名称:自定义采集配置名称,长度范围为1到64个字符,只支持输入英文、数字、中文、中划线、下划线以及
LTS柱状图 柱状图是使用垂直或水平的柱子显示类别之间的数值比较,用于描述分类数据,并统计每一个分类中的数量。 云日志服务(LTS)提供的柱状图,有垂直柱子和水平柱子,矩形块宽度一定,高度代表数值大小。有多列数据映射到Y轴时,采用分组柱状形式显示。 默认采用垂直柱子,您可以根据自己的需要进行选择。基本构成如下:
LTS-Flink-Connector参数说明 云日志服务可以帮助您快捷地完成数据采集、消费、投递以及查询分析,提升运维和运营效率,建立海量日志处理能力。 LTS-Flink-Connector工具支持以下表1。 表1 功能说明 功能 说明 支持类型 源表和结果表 运行模式 仅支持流模式
创建LTS快速分析 日志包含了系统性能及业务等信息,例如关键词ERROR的多少反应了系统的健康度,关键词BUY的多少反应了业务的成交量等,当您需要了解这些信息时,可以通过快速分析功能,指定查询日志关键词,LTS能够针对您配置的关键词进行统计,并生成指标数据,以便您实时了解系统性能及业务等信息。
LTS折线图 折线图属于趋势类分析图表,一般用于表示一组数据在一个有序数据类别(多为连续时间间隔)上的变化情况,用于直观分析数据变化趋势。在折线图中,可以清晰的观测到数据在某一个周期内的变化,主要反映在: 递增性或递减性 增减的速率情况 增减的规律(如周期变化) 峰值和谷值 所以
进入搜索LTS日志页面 当您配置完成日志结构化解析和索引后,就可以通过输入搜索语句,在日志数据中查找包含特定关键词的日志记录。或者根据时间范围来检索日志数据,帮助您定位特定时间段内发生的事件和问题。 搜索语句用于指定日志查询时的过滤规则,返回符合条件的日志。搜索语句可以为关键词、数值、数值范围、空格、星号(*)等。
创建LTS快速分析 日志包含了系统性能及业务等信息,例如关键词ERROR的多少反应了系统的健康度,关键词BUY的多少反应了业务的成交量等。当您需要了解这些信息时,可以通过快速分析功能,查询指定日志关键词,云服务日志LTS针对您配置的关键词进行统计,并生成指标数据,以便您实时了解系统性能及业务等信息。
设置LTS日志索引配置 索引是一种存储结构,用于对日志数据进行查询。通过配置索引后,可对日志进行查询和分析操作。不同的索引配置,则会产生不同的查询和分析结果,请根据您的需要,合理配置索引。 索引类型 云日志服务LTS支持全文索引和字段索引,详细请参考表1。 表1 索引类型 索引类型
设置LTS日志索引配置 索引是一种存储结构,用于对日志数据进行查询。通过配置索引后,可对日志进行查询和分析操作。不同的索引配置,则会产生不同的查询和分析结果,请根据您的需要,合理配置索引。 索引类型 云日志服务LTS支持全文索引和字段索引,详细请参考表1。 表1 索引类型 索引类型
应用场景 应用场景1:应用运维 企业在日常业务运维、审计或等保时,需要收集各种类型的日志,常遇到如下痛点: 企业部门多且日志繁杂,日志量大。 云服务资源种类数量多,不熟悉监控指标和运维日志,运维难度大。 安全合规要求高,等保合规要求日志长期存储,人力不足,维护成本高。 基于云日志服务LTS可以实现:
设置LTS日志采集配额和使用量预警 配置超额采集 当日志超过每月免费赠送的额度(500M)时,超过的部分将按需收费。如果每月免费赠送的额度已经可以满足您的使用需求,超过后希望暂停日志收集,可以在配置中心进行设置。 该开关默认为开启状态,开启后表示当日志超过免费赠送的额度(500M