检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
中间件-ElasticSearch日志 ElasticSearch是一个开源的分布式搜索和分析引擎,被广泛用于构建实时的、可扩展的搜索和分析应用程序。它的主要作用是存储、搜索和分析大量的数据。ElasticSearch的日志是记录其运行过程中各种信息的重要工具,主要有以下两种类型: 主要日志(cluster-name
标准输出开关,仅CCE接入类型时使用 stderr Boolean 标准输出开关标准错误开关,仅CCE接入类型时使用 pathType String CCE接入类型,仅CCE接入类型时使用 namespaceRegex String K8s Namespace正则匹配,仅CCE接入类型时使用 podNameRegex
SQL IP函数 使用限制 LTS提供的IP与地域之间的关系,来自于第三方IP库,且数据是周期性更新(约半年),不承诺IP与地域关系完全正确;后续LTS会优化,缩短IP库的更新周期,为用户提供更好的体验。 单IP函数聚合查询的数据量上限为500万,查询的数据超出上限可能导致查询超时。
System,域名系统)是互联网的一项服务,它作为将域名和IP地址相互映射的一个分布式数据库,能够使人更方便地访问互联网。当用户在浏览器中输入域名时,DNS会将其解析为对应的IP地址,以便计算机能够找到正确的服务器并获取所需的信息。 DNS日志是记录域名系统相关活动的记录文件。它通常包含了域名解析的请求、
数字或统一的数据模型加以描述的数据,具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据,数据结构不规则或不完整,没有预定义的数据模型。 日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志进行结构化,提取出有固定格式或者相似程度较高的日志,过滤
数字或统一的数据模型加以描述的数据,具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据,数据结构不规则或不完整,没有预定义的数据模型。 日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志进行结构化,提取出有固定格式或者相似程度较高的日志,过滤
访问控制 对企业中的员工设置不同的LTS访问权限,以达到不同员工之间的权限隔离,使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。详细如下:LTS权限管理。
日志流的读写方式可以最大限度地减少读取与写入次数,提高业务效率。 例如,您可以将不同的日志(操作日志、访问日志等)写入不同的日志流,查询日志时可以进入对应的日志流快速查看日志。 ICAgent ICAgent是云日志服务的日志采集工具,运行在需要采集日志的主机中。首次使用云日志服
回结果中的scheme字段才会使用此处设置的值。 allow_fragments Boolean 否 是否解析URL中的fragment部分。 true(默认值):解析URL中的fragment部分,返回结果中的fragment字段为具体值。 false:不解析URL中的frag
数中作为入参时的代称),选择日志组和日志流。 加工范围 白名单功能,数据加工的时间范围。选择“某时间开始”或“特定时间范围”可以对历史日志数据进行加工。 所有:从源日志流按收到第一条日志的时间开始数据加工任务,直到加工任务被手动停止。 某时间开始:指定数据加工任务的开始时间,从该
从值或时间表达式中截取指定的时间粒度。 dt_add 根据指定的时间粒度修改值或时间表达式的值。 dt_MO dt_add函数中传递给weekday参数的值,用于表示特定星期一的偏移量。 dt_TU dt_add函数中传递给weekday参数的值,用于表示特定星期二的偏移量。 dt_WE
采集路径支持模糊匹配,匹配目录或文件名中的任何字符。示例:/var/logs/*/a.log、/var/logs/service/a*.log。 采集路径如果配置的是目录,示例:/var/logs/,则只采集目录下后缀为“.log”、“.trace”和“.out”的文件;如果配置的是文件名,则直接采集对应文件,只支持文本类型的文件。
(其中pathFile为默认的必传字段,其余字段可选) custom_key_value 否 Map<String,String> 自定义键值对:配置日志接入规则时,可以配置自定义键值对规则,上报日志后,每条日志数据的标签数据中将会有用户自定义的键值对字段,键值对数量不超过20 键的长度限制为1
勾选关键词统计:适用于使用关键词搜索配置日志告警的场景。 查询条件 日志组名称:选择已创建的日志组。 日志流名称:选择已创建的日志流。 说明: 当日志组下有多个日志流时,支持选择多个日志流,即可批量创建关键词告警。 查询时间:指定语句的查询周期。查询语句的时间范围:从当前时间往前
创建LTS快速分析 日志包含了系统性能及业务等信息,例如关键词ERROR的多少反应了系统的健康度,关键词BUY的多少反应了业务的成交量等,当您需要了解这些信息时,可以通过快速分析功能,指定查询日志关键词,LTS能够针对您配置的关键词进行统计,并生成指标数据,以便您实时了解系统性能及业务等信息。
arbitrary函数 用于返回x中任意一个非空的值。 max_by函数 查询y为最大值时对应的x值,或查询最大的n个y值对应的x值。 min_by函数 查询y为最小值时对应的x值,或查询最小的n个y值对应的x值。 count函数 用于计数。 max函数 用于查询x中最大的值。 min函数 用于查询x中最小值。
次配置,但目前LTS还没有提供控制台批量操作功能,这时您可以通过Python脚本结合LTS API接口实现自定义的批量操作。 使用场景 当用户创建了1000条日志转储的OBS规则,但转储时文件时区全部选择(UTC) 协调世界时间,现在需要根据实际情况修改为(UTC+08:00)
左右,即可查看实时上报的日志,实现对日志数据的快速检索与分析。 若实时日志大于1MB且总数小于2000条时时,LTS会清空前500KB的日志,保留最新的500KB日志。 若实时日志未超过1MB,但总数超过2000条时,LTS会清空前1000条日志,保留最新的1000条日志。 正常
左右,即可查看实时上报的日志,实现对日志数据的快速检索与分析。 若实时日志大于1MB且总数小于2000条时时,LTS会清空前500KB的日志,保留最新的500KB日志。 若实时日志未超过1MB,但总数超过2000条时,LTS会清空前1000条日志,保留最新的1000条日志。 正常
在结构化字段和表字段的下拉框,选择您需要转储的字段。 单击操作列下的,删除不需要转储的字段。 单击,添加您需要转储的字段。 表普通列映射和表分区列映射添加表字段的总数为创建表的总列数。 - 表分区列映射 存储时根据设置的字段值进行分区。将内置字段以及日志中配置的结构化字段和类型,映射到数据库表字段。