设置云端结构化解析日志-华为云

云日志服务 LTS-日志结构化概述:解析方式介绍

解析方式介绍云日志服务支持两种日志结构化解析方式：云端结构化解析和ICAgent结构化解析，且一个日志流只能配置一种结构化方式，例如选择云端结构化解析后，不能再选择ICAgent结构化解析，需要删除后，才能重新选择。更多信息请参考图1。若用户在日志接入的时候没有配置结构化解析，可以单独给目标日志流配置ICAgent结构化解析或云端结构化解析。 ICAgent结构化解析是在采集侧做结构化，利用的是客户节点上的资源，将结构化完成的数据上报到LTS。推荐用户使用ICAgent结构化解析的方式，更多内容请参考ICAgent结构化解析规则说明。云端结构化解析是通过不同的日志提取方式将日志流中的日志进行结构化，云端结构化解析会消耗LTS服务端算力，未来会按照日志大小收取日志加工流量费用。图1 不同解析方式

云日志服务 LTS 设置云端结构化解析日志

云日志服务 LTS-设置云端结构化自定义日志时间:开启自定义日志时间

开启自定义日志时间登录云日志服务控制台，进入“日志管理”页面。单击目标日志组和日志流名称。在日志流详情页面，单击右上角，在弹出页面中，选择“云端结构化解析”，详细请参考设置日志云端结构化解析。配置完成后，开启自定义日志时间开关，配置如下参数。切换自定义日志时间开关时，可能会导致日志搜索界面在切换时间点附近出现时间偏差，请勿频繁切换自定义日志时间开关。表1 参数配置表参数说明示例字段key 已提取字段的名称。单击下拉框选择已提取的字段，该字段为string或long类型。 test 字段value 已提取的字段value，选择字段key后，将自动填充。 2022-07-19 12:12:00 时间格式请参考常见日志时间格式。 yyyy-MM-dd HH:mm:ss 操作单击“校验”，提示“时间格式和字段value匹配成功”则表示校验成功。 -

云日志服务 LTS 设置云端结构化解析日志

云日志服务 LTS-设置云端结构化自定义日志时间:示例

示例常见的时间标准、示例及对应的时间表达式如下表3。表3 示例示例时间表达式时间标准 2022-07-14T19:57:36+08:00 yyyy-MM-dd'T'HH:mm:ssXXX 自定义 1548752136 %s 自定义 27/Jan/2022:15:56:44 dd/MMM/yyyy:HH:mm:ss 自定义 2022-08-15 17:53:23+08 yyyy-MM-dd HH:mm:ssX 自定义 2022-08-05T08:24:15.536+0000 yyyy-MM-dd'T'HH:mm:ss.SSSZ 自定义 2022-08-20T10:04:03.204000Z yyyy-MM-dd'T'HH:mm:ss.SSSZ 自定义 2022-08-22T06:52:08Z yyyy-MM-dd'T'HH:mm:ssZ 自定义 2022-07-24T10:06:41.000 yyyy-MM-dd'T'HH:mm:ss.SSS 自定义 [2022-12-11 15:05:07.012] [yyyy-MM-dd HH:mm:ss.SSS] 自定义 Monday, 02-Jan-06 15:04:05 MST EEEE, dd-MMM-yy HH:mm:ss Z RFC850 Mon, 02 Jan 2006 15:04:05 MST EEE, dd MMM-yyyy HH:mm:ss Z RFC1123 02 Jan 06 15:04 MST dd MMM yy HH:mm Z RFC822 02 Jan 06 15:04 -0700 dd MMM yy HH:mm Z RFC822Z 2023-01-02T15:04:05.999999999Z07:00 yyyy-MM-dd'T'HH:mm:ss Z RFC3339Nano 2023-01-02T15:04:05Z07:00 yyyy-MM-dd'T'HH:mm:ss Z RFC3339 2022-12-11 15:05:07 yyyy-MM-dd HH:mm:ss 自定义

云日志服务 LTS 设置云端结构化解析日志

云日志服务 LTS-设置云端结构化字段和tag字段:设置云端结构化字段

设置云端结构化字段在进行结构化配置字段提取之后，可对结构化字段进行设置，详细请参考表1。表1 结构化字段设置规则日志提取方式字段名称字段类型是否可修改字段是否可删除正则分析（自动生成）用户自定义。名称必须以字母开始，且仅包含字母和数字。是是正则分析（手动输入）支持在输入正则表达式时进行命名。支持使用系统默认命名field1、field2、field3等。是是 JSON格式智能提取字段名称，可定义别名。是是分隔符默认名称field1、field2、field3……，可进行修改。是是 Nginx 根据Nginx配置生成，可定义别名。是是自定义模板用户自定义。是是正则分析（手动输入）、JSON格式、分隔符、Nginx和自定义模板的字段名称需要满足如下要求：只支持输入英文、数字、中划线、下划线及小数点。不能以小数点、下划线开头或以小数点结尾。长度为1-64个字符。

云日志服务 LTS 设置云端结构化解析日志

云日志服务 LTS-设置云端结构化字段和tag字段:设置tag字段

设置tag字段设置结构化配置时，可以对日志维度信息进行tag字段设置，设置完成后可以在可视化界面对设置字段进行SQL查询。在字段提取步骤中，选择“tag字段”页签，单击“添加字段”。图1 添加tag字段在tag字段列表中，输入需要设置 tag“字段名称”，例如hostIP。 tag字段功能上线前，已设置的结构化配置，在修改结构化配置进行tag字段设置时，系统tag不会带出示例字段。如需添加多个字段可单击“添加字段”，继续添加。设置完成后，单击“保存”。 tag支持的系统字段包括：category、clusterId、clusterName、containerName、hostIP、hostId、hostName、nameSpace、pathFile、podName。 tag不支持的系统字段包括：groupName、logStream、lineNum、content、logContent、logContentSize、collectTime。日志提取字段和tag字段可以同时设置。

云日志服务 LTS 设置云端结构化解析日志

云服务器内容精选

设置云端结构化解析日志

7*24

备案

专业服务

退订

建议反馈

售前咨询热线