云日志服务 LTS-设置LTS日志索引配置:内置保留字段

时间:2024-09-25 10:57:02

内置保留字段

在采集日志时, 云日志 服务会将采集时间、日志类型、主机IP等信息以Key-Value对的形式添加到日志中,这些字段是云日志服务的内置字段。

  • 使用API写入日志数据或添加ICAgent配置时,请不要将字段名称设置为内置保留字段,否则可能会造成字段名称重复、查询不精确等问题。
  • 日志服务为日志数据增加的内置保留字段当前免费,后续会按照按量付费方式正常收费(为其开启索引时也会产生少量索引流量及存储费用)。更多信息请参见价格计算器
  • 用户自定义日志字段名称中不能使用双下划线__,否则无法配置索引。
表4 内置保留字段说明

内置保留字段

数据格式

索引与统计设置

说明

collectTime

整型,Unix时间戳(毫秒)

索引设置:开启索引后,日志服务默认为collectTime创建字段索引,索引数据类型为long类型。

查询时输入collectTime : xxx。

采集时间,指日志被采集器ICAgent采集时的时间。

例如示例中的"collectTime":"1681896081334",转换成标准时间是2023-04-19 17:21:21

__time__

整型,Unix时间戳(毫秒)

索引设置:开启索引后,日志服务默认为time创建字段索引,索引数据类型为long类型。该字段不支持查询。

日志时间,指的是日志在控制台页面展示的日志时间。

例如示例中的"__time__":"1681896081334",转换成标准时间是2023-04-19 17:21:21

日志时间默认使用采集时间,也支持自定义日志时间。

lineNum

整型

索引设置:开启索引后,日志服务默认为lineNum创建字段索引,索引数据类型为long类型。

行号(偏移量),用来排序日志。

非高精度日志会根据collectTime生成,默认是collectTime * 1000000 + 1,高精度日志就是用户上报的纳秒值。

例如示例中的"lineNum":"1681896081333991900"。

category

字符串

索引设置:开启索引后,日志服务默认为category创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入category: xxx。

日志类型,表示该日志的来源。

例如ICAgent采集的日志该字段为LTS,某云服务例如D CS 上报的日志该字段为DCS。

clusterName

字符串

索引设置:开启索引后,日志服务默认为clusterName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入clusterName: xxx。

集群名称,k8s场景下集群名称。

例如示例中的"clusterName":"epstest"。

clusterId

字符串

索引设置:开启索引后,日志服务默认为clusterId创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入clusterId: xxx。

集群ID,k8s场景下集群ID。例如示例中的"clusterId":"c7f3f4a5-xxxx-11ed-a4ec-0255ac100b07"。

nameSpace

字符串

索引设置:开启索引后,日志服务默认为nameSpace创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入nameSpace: xxx。

命名空间,k8s场景下命名空间。

例如示例中的"nameSpace":"monitoring"。

appName

字符串

索引设置:开启索引后,日志服务默认为appName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入appName: xxx。

组件名称,k8s场景下工作负载的名称。

例如示例中的"appName":"alertmanager-alertmanager"。

serviceID

字符串

索引设置:开启索引后,日志服务默认为serviceID创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入serviceID: xxx。

工作负载ID,k8s场景下工作负载ID。

例如示例中的"serviceID":"cf5b453xxxad61d4c483b50da3fad5ad"。

podName

字符串

索引设置:开启索引后,日志服务默认为podName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入podName: xxx。

POD名称,k8s场景下POD名称。

例如示例中的"podName":"alertmanager-alertmanager-0"。

podIp

字符串

索引设置:开启索引后,日志服务默认为podIp创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入podIp: xxx。

pod的ip,k8s场景下pod的IP地址。

例如示例中的"podIp":"10.0.0.145"。

containerName

字符串

索引设置:开启索引后,日志服务默认为containerName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入containerName: xxx。

容器名称,k8s场景下容器名称。

例如示例中的"containerName":"config-reloader"。

hostName

字符串

索引设置:开启索引后,日志服务默认为hostName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入hostName: xxx。

主机名称,ICAgent所在主机的名称。

例如示例中的"hostName":"epstest-xx518"。

hostId

字符串

索引设置:开启索引后,日志服务默认为hostId创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入hostId: xxx。

主机ID,ICAgent所在主机的id,该id由ICAgent生成。例如示例中的"hostId":"318c02fe-xxxx-4c91-b5bb-6923513b6c34"。

hostIP

字符串

索引设置:开启索引后,日志服务默认为hostIP创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入hostIP: xxx。

主机IP,日志采集器所在主机的ip(适用于ipv4场景)

例如示例中的"hostIP":"192.168.0.31"。

hostIPv6

字符串

索引设置:开启索引后,日志服务默认为hostIPv6创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入hostIPv6: xxx。

主机IP,日志采集器所在主机的ip(适用于ipv6场景)

例如示例中的"hostIPv6":""。

pathFile

字符串

索引设置:开启索引后,日志服务默认为pathFile创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入pathFile: xxx。

文件路径,采集的日志文件的路径。

例如示例中的"pathFile":"stdout.log"。

content

字符串

索引设置:开启全文索引后,会使用全文索引定义的分词符对content字段的value进行分词;不支持将content字段配置到字段索引中。

日志原文,

例如示例中的"content":"level=error ts=2023-04-19T09:21:21.333895559Z"

__receive_time__

整型,Unix时间戳(毫秒)

索引设置:开启索引后,日志服务默认为__receive_time__创建字段索引,索引数据类型为long类型。

上报日志的服务端时间,相当于LTS采集端接收到日志的时间。

__client_time__

整型,Unix时间戳(毫秒)

索引设置:开启索引后,日志服务默认为__client_time__创建字段索引,索引数据类型为long类型。

端侧日志的客户端上报时间。

_content_parse_fail_

字符串

索引设置:开启索引后,日志服务默认为_content_parse_fail_创建字段索引,索引数据类型为string类型,分词字符为默认分词符。查询时输入_content_parse_fail_: xxx。

上报日志解析失败的日志内容。

__time

整型,Unix时间戳(毫秒)

不支持将__time字段配置到字段索引中。

不涉及。

logContent

字符串

不支持将logContent字段配置到字段索引中。

不涉及。

logContentSize

整型

不支持将logContentSize字段配置到字段索引中。

不涉及。

logIndexSize

整型

不支持将logIndexSize字段配置到字段索引中。

不涉及。

groupName

字符串

不支持将groupName字段配置到字段索引中。

不涉及。

logStream

字符串

不支持将logStream字段配置到字段索引中。

不涉及。

support.huaweicloud.com/usermanual-lts/lts_05_0008.html