华为云用户手册

批量设置多个接入配置 支持同时批量设置多个接入配置，操作简单，不用重复配置即可快速完成多个场景的接入配置。 在“接入管理”页面，单击“批量接入”，进入配置详情页面，请参考表4。 表4 批量接入设置 类型 操作 说明 基本配置 接入类型 选择云主机 E CS -文本日志。 接入配置数量 在输入框填写接入配置数量，单击“添加接入配置”。 在接入配置下方默认已有1个接入配置，最多支持再添加99个数量，因此支持同时添加100个接入配置。 接入配置 接入列表 左侧显示接入配置的信息，最多支持添加99个配置。 右侧显示配置接入的内容，详细请参考步骤3：采集配置进行设置。 一个接入配置设置完成后，单击“应用于其他接入规则”即可将该接入配置复制到其他接入配置。 单击“参数检查”，检查成功后，单击“提交”，批量接入设置完成。 例如添加了4个接入配置，批量创建成功后，在接入规则页签下方，就会显示4条接入配置数量。 （可选）支持对接入配置任务进行以下操作： 勾选多个已创建成功的接入配置，单击“批量编辑”进入配置详情页面，通过选择不同接入类型，修改对应的接入配置信息。 勾选多个已创建成功的接入配置，单击开启或关闭按钮。接入配置状态关闭后不会继续采集日志。 勾选多个已创建成功的接入配置，单击删除按钮即可批量删除接入配置。

批量设置多个接入配置 支持同时批量设置多个接入配置，操作简单，不用重复配置即可快速完成多个场景的接入配置。 在“接入管理”页面，单击“批量接入”，进入配置详情页面，请参考表6。 表6 批量接入设置 类型 操作 说明 基本配置 接入类型 选择自建k8s - 应用日志。 接入配置数量 在输入框填写接入配置数量，单击“添加接入配置”。 在接入配置下方默认已有1个接入配置，最多支持再添加99个数量，因此支持同时添加100个接入配置。 接入配置 接入列表 左侧显示接入配置的信息，最多支持添加99个配置。 右侧显示配置接入的内容，详细请参考步骤5：采集配置进行设置。 一个接入配置设置完成后，单击“应用于其他接入规则”即可将该接入配置复制到其他接入配置。 单击“参数检查”，检查成功后，单击“提交”，批量接入设置完成。 例如添加了4个接入配置，批量创建成功后，在接入规则页签下方，就会显示4条接入配置数量。 （可选）支持对接入配置任务进行以下操作： 勾选多个已创建成功的接入配置，单击“批量编辑”进入配置详情页面，通过选择不同接入类型，修改对应的接入配置信息。 勾选多个已创建成功的接入配置，单击开启或关闭按钮。接入配置状态关闭后不会继续采集日志。 勾选多个已创建成功的接入配置，单击删除按钮即可批量删除接入配置。

步骤3：安装日志采集组件 在Kubernetes集群中，选择任意一台主机执行如下操作步骤： 获取ICAgent安装包。 获取ICAgent安装包（以界面上显示的为准）。 wget https://icagent-{regionId}.{obsDomainName}/ICAgent_linux/icagentK8s-5.5.1.2.tar.gz 解压ICAgent安装包。 tar -xzvf icagentK8s-5.5.1.2.tar.gz 进入目录。 cd icagentK8s 生成安装命令： 选择接入日志的区 域名 。 选择接入日志的账号的项目ID。 k8s集群所在区域，选择“区域内”。 安装ICAgent。 复制ICAgent安装命令 为了避免泄漏您的AK/SK，请勾选此处，执行关闭历史记录命令。 图2 安装ICAgent 生成安装命令如下：（x.x.x.x以界面上显示的实际IP为准） set +o history; bash icagent_log_install.sh 2a473356cca5487f8373be891bffc1cf test-xx123456 region0_id {input_your_ak} {input_your_sk} x.x.x.x podlb 执行的命令需要填写AK/SK，有两种方式可选择： 方式一：复制命令手动替换 {input_your_ak} 和 {input_your_sk}，填写值时不需要添加{}。 方式二：直接执行复制的命令，系统会提示“Enter the AK”和“Enter the SK”，填写对应的AK/SK即可。 使用PuTTY等远程登录工具，以root用户登录待安装主机，执行复制到的命令。 当显示”ICAgent install success”时，表示安装成功，安装成功后，在左侧导航栏中选择“主机管理”，查看ICAgent状态。 单击“确认安装完毕”。

步骤7：完成接入配置 接入成功后，在接入规则页签，则会生成一条接入配置信息。 单击接入配置名称可进入详情页面，查看该接入配置详细信息。 单击接入配置操作列的“编辑”重新修改接入配置信息。 单击接入配置操作列的“标签管理”即可添加标签。 单击接入配置操作列的“复制”复制一条新的接入配置信息。 单击接入配置操作列的“删除”即可删除接入配置信息。 单击接入配置操作列的“采集诊断”，可查看ICAgent异常监控、ICAgent整体状态和ICAgent采集监控。

步骤2：检查依赖项 系统自动检查以下三项是否符合要求： 存在自定义标识为k8s-log-集群ID的主机组。 存在名为k8s-log-集群ID的日志组。支持修改日志组的日志存储时间和备注。当选择日志流为采集到集中日志流时，会进行该项内容检查。 存在系统推荐的集中采集的日志流。支持修改日志流的日志存储时间和备注。当选择日志流为采集到集中日志流时，会进行该项内容检查。 如果以上三项中，有任意一项不符合要求，需单击“自动修复”按钮进行修复，否则将无法进行下一步操作。 自动修复：一键帮您完成以上三项配置。 重新检查：重新检查依赖项。 当选择日志流为采集到自定义日志流时，“存在名为k8s-log-集群ID的日志组”的检查项为可选项。您可以通过开启或关闭开关进行控制，确定是否进行该项检查。 单击“下一步：安装日志采集组件”。

JSON JSON是通过提取JSON字段将其拆分为键值对。 选择示例日志：应选择一条比较典型的日志作为示例日志。在“步骤1 选择示例日志”中，可单击“从已有日志中选择”，在弹出框中根据业务需求选择待操作的日志，也可以直接在输入框中输入待操作的日志，单击“确定”。通过选择不同时间段筛选日志。 时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。 自定义：表示查询指定时间范围的日志数据 字段提取。可将输入或选择的日志自动提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 在“步骤2 字段提取”下单击“智能提取”。以如下原始日志为例进行分析： 将以下原始日志输入待操作框中。 {"a1": "a1", "b1": "b1", "c1": "c1", "d1": "d1"} 当日志提取字段的类型为float时，精度为16位有效数字。如果超过16位有效数字，则会导致提取字段内容不准确，从而影响可视化查看和快速分析，因此建议将字段类型修改为String。 当日志提取字段的类型为long时，日志内容超过16位有效数字，只会精确显示前16位有效数字，后面的数字会变为0。 当日志提取字段的类型为long时，日志内容超过21位有效数字，则会识别为float类型，建议将字段类型修改为String。 在字段提取完成后，可对日志模板进行设置。结构化字段设置规则请参考设置结构化字段。 若需要指定某一字段作为日志时间，详细请参考自定义日志时间。 单击“保存”，完成日志结构化配置，初次设置完成后将不能对字段类型编辑修改。

云端结构化解析 登录 云日志 服务控制台，进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面，单击右上角，在弹出页面中，选择“云端结构化解析”，进行日志结构化配置。 正则分析：使用正则表达式提取字段。 JSON：通过提取JSON字段将其拆分为键值对。 分隔符：使用分隔符（例如：冒号、空格或字符等）提取字段。 Nginx：通过log_format指令来自定义访问日志的格式。 结构化模板：通过自定义模板或系统内置模板提取字段。 云端结构化解析配置完成后，支持修改或删除结构化配置。 在云端结构化解析页面中，单击，修改结构化配置。 在云端结构化解析页面中，单击，删除结构化配置。 结构化配置删除后，将无法恢复，请谨慎操作。

Nginx Nginx是通过log_format指令来自定义访问日志的格式。 选择示例日志：应选择一条比较典型的日志作为示例日志。在“步骤1 选择示例日志”中，可单击“从已有日志中选择”，在弹出框中根据业务需求选择待操作的日志，也可以直接在输入框中输入待操作的日志，单击“确定”。通过选择不同时间段筛选日志。 时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。 自定义：表示查询指定时间范围的日志数据 在“步骤2 输入Nginx日志配置”中需要输入Nginx日志配置，根据输入或选择的日志进行配置。其中有默认配置可使用，单击“默认Nginx配置”即可。 标准Nginx配置文件中，日志配置的部分通常以log_format开头。 日志格式 默认配置如下所示。 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; 用户也可进行自定义配置，具体配置格式要求如下所示。 使用Nginx配置，不可为空 以log_format开头，并且包含（'）和字段名称 长度最大限制为5000 需要与示例日志内容匹配 log_format字段之间的间隔，除大小字母、数字、下划线及中划线外，可使用其他任意字符 以（'）或者（';）结尾 字段提取。可将输入或选择的日志自动提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 在“步骤3 字段提取”下单击“智能提取”。以如下原始日志为例进行分析： 将以下原始日志输入待操作框中。 39.149.31.187 - - [12/Mar/2020:12:24:02 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36" "-" 并使用如下Nginx日志配置。 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; 当日志提取字段的类型为float时，精确度为7位有效数字。 如果超过7位有效数字的话，则会导致提取字段内容不准确，从而影响可视化查看和快速分析，因此建议将字段类型修改为String。 在字段提取完成后，可对日志模板进行设置。结构化字段设置规则请参考设置结构化字段。 若需要指定某一字段作为日志时间，详细请参考自定义日志时间。 单击“保存”，完成日志结构化配置，初次设置完成后将不能对字段类型编辑修改。

分隔符 分隔符是使用分隔符（例如：逗号、空格或字符）提取字段。 选择示例日志：应选择一条比较典型的日志作为示例日志。在“步骤1 选择示例日志”中，可单击“从已有日志中选择”，在弹出框中根据业务需求选择待操作的日志，也可以直接在输入框中输入待操作的日志，单击“确定”。通过选择不同时间段筛选日志。 时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。 自定义：表示查询指定时间范围的日志数据 在“步骤2 指定分隔符”需要根据原始日志内容选择分隔符，或自定义其他需要的特殊字符作为分隔符。 不可见字符需要输入0x开头的16进制字符，长度为0-4个字符，总共32个不可见字符。 自定义字符支持输入1-10个字符，每个字符都作为独立的分隔符。 自定义字符串支持输入1-30个字符，字符串整体作为一个分隔符。 字段提取。可将输入或选择的日志自动提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 在“步骤3字段提取”下单击“智能提取”。以如下原始日志为例进行分析： 将以下原始日志输入待操作框中。 1 5f67944957444bd6bb4fe3b367de8f3d 1d515d18-1b36-47dc-a983-bd6512aed4bd 192.168.0.154 192.168.3.25 38929 53 17 1 96 1548752136 1548752736 ACCEPT OK 当日志提取字段的类型为float时，精确度为7位有效数字。 如果超过7位有效数字的话，则会导致提取字段内容不准确，从而影响可视化查看和快速分析，因此建议将字段类型修改为String。 在字段提取完成后，可对日志模板进行设置。结构化字段设置规则请参考设置结构化字段。 若需要指定某一字段作为日志时间，详细请参考自定义日志时间。 单击“保存”，完成日志结构化配置，初次设置完成后将不能对字段类型编辑修改。

日志搜索的常用操作 在日志内容展示区域，支持分享日志、查看上下文、下载日志等操作，具体参考表1。 表1 常用操作 操作 说明 创建快速查询 单击按钮，创建快速查询。 查看仪表盘 单击按钮，在弹出来的仪表盘页面中，可查看已创建的仪表盘。 添加告警 单击按钮，在弹出的页面中，支持新建告警规则。 分享日志 单击复制当前日志搜索页面的链接，用于分享搜索日志。 刷新日志 单击对日志进行刷新，有两种方式刷新方式：手动刷新和自动刷新。 手动刷新：单击“手动刷新”，可直接对日志进行刷新。 自动刷新：选择自动刷新的间隔时间，将对日志进行自动刷新。间隔时间范围为15秒、30秒、1分钟和5分钟。 复制 单击复制日志内容。 查看上下文 单击查看日志上下文。 说明： 支持选择简洁模式查看日志上下文。支持下载上下文内容。 简化字段详情 单击查看简化字段详情。 换行/取消换行 单击按钮，搜索的日志内容将换行显示。若不需要换行，单击按钮，取消换行。 说明： 默认开启换行按钮。 下载日志 单击按钮，在弹出的下载日志页面中单击“本地下载”或“前往创建转储”。 本地下载：将日志文件直接下载到本地，单次下载支持最大5,000条日志。 在下拉框中选择“.csv”或“.txt”，单击“开始下载日志”，可将日志导出至本地。 说明： 选择以CSV格式导出日志后，本地以表格形式保存日志的具体标签信息。 选择导出TXT格式日志后，本地会以.txt格式保存日志的日志内容。 前往创建转储：通过OBS转储任务下载日志文件。 单击“前往创建转储”，跳转至配置转储页面，详细请参考日志转储至OBS。 全部折叠/全部展开 单击设置日志内容展示的行数。若不需要展示日志内容，再单击一次按钮即可关闭展示的日志内容。 说明： 默认不折叠。折叠后，默认显示2行，最多支持展示6行。 JSON设置 鼠标悬浮在按钮上，单击“JSON设置”，在弹出的JSON设置页面中，设置格式化显示。 说明： 默认开启格式化，JSON默认展开层级为2层。若日志包含多个反斜杠，当日志展示为json格式时，会丢失一个反斜杠，因为json解析会将第一个反斜杠作为转义符处理。 开启格式化按钮：设置JSON默认展开层级，最大设置为10层。 关闭格式化按钮：对于JSON格式的日志，将不会格式化层级显示。 日志折叠设置 鼠标悬浮在按钮上，单击“日志折叠设置”，在弹出的日志折叠设置页面中，设置长日志字符个数。 日志超过设置的长日志字符个数时，超出字符将被隐藏，单击“展开”按钮可查看全部内容。 说明： 默认开启自动折叠长日志，字符个数默认为400个。 日志时间展示 鼠标悬浮在按钮上，单击“日志时间展示”，在弹出的日志折叠设置页面中，设置是否展示毫秒、是否展示时区。 说明： 默认开启展示毫秒。 虚拟滚动设置 鼠标悬浮在按钮上，单击“虚拟滚动设置”，在弹出的虚拟滚动设置页面中，设置是否开启虚拟滚动、填写缓冲区大小。 说明： 虚拟滚动可以避免或减少滚动时卡顿的情况，提升操作体验，防止页面卡死。 滚动时数据会重新渲染，一定程度上影响数据流畅性。 缓冲区决定同时加载的数据量大小，缓冲区越大，同时加载的数据越多，但滚动性能会越差。 不可见字段列表 该列表展示版面设置中配置的不可见性字段。 当日志流未配置版面设置时，将不显示按钮。 当日志内容为“CONFIG_FILE”且未配置版面设置时，不可见字段默认有appName、clusterId、clusterName、containerName、hostIPv6、NameSpace、podName和serviceID。

搜索日志 登录云日志服务控制台，进入“日志管理”页面。 在“日志管理”页面，单击目标日志组或日志流名称，进入日志详情页面。 您可以根据自己的实际需求，在搜索框上方选择时间范围，即可查看不同时间段的日志数据。 时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。 自定义：表示查询指定时间范围的日志数据。支持选择3个月的范围，白名单用户支持选择6个月的范围。如有需要，请提交工单申请。 根据LTS搜索语法介绍在搜索框输入查询条件，用于日志数据的查看、简单搜索和过滤。 在页面搜索区域中，单击搜索框，输入待搜索的关键字，或在弹出的下拉框中选择待搜索的字段和关键词，单击“查询”，开始搜索。 内置保留字段有appName、category、clusterId、clusterName、collectTime等，默认简化显示，并且hostIP、hostName、pathFile默认显示在最前面。更多内置保留字段请参考设置LTS日志索引配置。 结构化配置的字段按照key:value显示。 日志搜索框内容过多时支持自动换行并多行显示。 支持固定搜索框高度。 在页面搜索区域，使用键盘的"↑""↓"箭头，选择待搜索的关键字或搜索语法，单击Tab键或Enter键选中后，单击“查询”，开始搜索。 对已创建快速分析的字段，单击选择字段可直接将其添加到页面搜索框中，进行搜索。请参考创建LTS快速分析开启快速分析。 通过单击字段添加到搜索框中，如果是同一字段，则将直接替换该方式添加的字段，不会进行AND搜索；如果是不同字段，则对不同字段进行AND搜索。 在“日志搜索”页签，您可以进行如下操作，更多操作请参考日志搜索的常用操作。 在日志内容下方，展示不同时间段的日志总条数柱状图，柱状图旁边显示日志条数刻度。 若使用了内嵌功能，支持设置收起或展开式日志条数统计图。关于内嵌参数请参考云日志服务地址。 在日志内容下方，鼠标悬浮指向日志内容中的字段，单击蓝色字体的日志内容，支持以下方式搜索日志：复制、添加到查询、从查询中排除、添加到查询（交互模式）、从查询中排除（交互模式）。 在日志内容下方，单击时间前面的展开图标，支持以Table和JSON形式展示结构化字段。 在Table页签，支持对该字段进行添加到查询、从查询中排除、字段存在、字段不存在、隐藏的方式搜索日志。更多信息请参考LTS搜索语法介绍。 在JSON页签，支持查看或者复制日志内容。 支持设置日志数据的版面展示，主要设置字段是否显示或简化显示。 在下拉框单击编辑版面，进入版面设置页面，版面列表自带默认版面、纯净版面、容器日志默认版面，可以设置字段在版面是否显示。 云端：适用于有写权限的用户，版面配置信息保存在云端。 本地缓存：适用于只有读权限的用户，版面配置信息缓存在本地浏览器。 单击新增自定义版面，设置版面名称和版面字段的可见性。 设置完成后，单击“确定”，返回下拉框显示新增的自定义版面。 交互式搜索分析，适用于生成简单的分析语句，如果您需要使用更多的函数或者嵌套查询，请手动输入SQL语句。 单击搜索框前面的按钮，进入交互式搜索分析页面。 选择日志搜索的字段和条件，搜索框则会展示对应字段的值。 设置完成后，单击“确定”，即可在搜索框快速生成分析语句。 支持添加关联关系或添加组。 设置完成后，支持预览搜索语句。

内置保留字段 在采集日志时，云日志服务会将采集时间、日志类型、主机IP等信息以Key-Value对的形式添加到日志中，这些字段是云日志服务的内置字段。 使用API写入日志数据或添加ICAgent配置时，请不要将字段名称设置为内置保留字段，否则可能会造成字段名称重复、查询不精确等问题。 日志服务为日志数据增加的内置保留字段当前免费，后续会按照按量付费方式正常收费（为其开启索引时也会产生少量索引流量及存储费用）。更多信息请参见价格计算器。 用户自定义日志字段名称中不能使用双下划线__，否则无法配置索引。 表4 内置保留字段说明 内置保留字段 数据格式 索引与统计设置 说明 collectTime 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为collectTime创建字段索引，索引数据类型为long类型。 查询时输入collectTime : xxx。 采集时间，指日志被采集器ICAgent采集时的时间。 例如示例中的"collectTime":"1681896081334"，转换成标准时间是2023-04-19 17:21:21 __time__ 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为time创建字段索引，索引数据类型为long类型。该字段不支持查询。 日志时间，指的是日志在控制台页面展示的日志时间。 例如示例中的"__time__":"1681896081334"，转换成标准时间是2023-04-19 17:21:21 日志时间默认使用采集时间，也支持自定义日志时间。 lineNum 整型 索引设置：开启索引后，日志服务默认为lineNum创建字段索引，索引数据类型为long类型。 行号（偏移量），用来排序日志。 非高精度日志会根据collectTime生成，默认是collectTime * 1000000 + 1，高精度日志就是用户上报的纳秒值。 例如示例中的"lineNum":"1681896081333991900"。 category 字符串 索引设置：开启索引后，日志服务默认为category创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入category: xxx。 日志类型，表示该日志的来源。 例如ICAgent采集的日志该字段为LTS，某云服务例如DCS上报的日志该字段为DCS。 clusterName 字符串 索引设置：开启索引后，日志服务默认为clusterName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入clusterName: xxx。 集群名称，k8s场景下集群名称。 例如示例中的"clusterName":"epstest"。 clusterId 字符串 索引设置：开启索引后，日志服务默认为clusterId创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入clusterId: xxx。 集群ID，k8s场景下集群ID。例如示例中的"clusterId":"c7f3f4a5-xxxx-11ed-a4ec-0255ac100b07"。 nameSpace 字符串 索引设置：开启索引后，日志服务默认为nameSpace创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入nameSpace: xxx。 命名空间，k8s场景下命名空间。 例如示例中的"nameSpace":"monitoring"。 appName 字符串 索引设置：开启索引后，日志服务默认为appName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入appName: xxx。 组件名称，k8s场景下工作负载的名称。 例如示例中的"appName":"alertmanager-alertmanager"。 serviceID 字符串 索引设置：开启索引后，日志服务默认为serviceID创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入serviceID: xxx。 工作负载ID，k8s场景下工作负载ID。 例如示例中的"serviceID":"cf5b453xxxad61d4c483b50da3fad5ad"。 podName 字符串 索引设置：开启索引后，日志服务默认为podName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入podName: xxx。 POD名称，k8s场景下POD名称。 例如示例中的"podName":"alertmanager-alertmanager-0"。 podIp 字符串 索引设置：开启索引后，日志服务默认为podIp创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入podIp: xxx。 pod的ip，k8s场景下pod的IP地址。 例如示例中的"podIp":"10.0.0.145"。 containerName 字符串 索引设置：开启索引后，日志服务默认为containerName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入containerName: xxx。 容器名称，k8s场景下容器名称。 例如示例中的"containerName":"config-reloader"。 hostName 字符串 索引设置：开启索引后，日志服务默认为hostName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostName: xxx。 主机名称，ICAgent所在主机的名称。 例如示例中的"hostName":"epstest-xx518"。 hostId 字符串 索引设置：开启索引后，日志服务默认为hostId创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostId: xxx。 主机ID，ICAgent所在主机的id，该id由ICAgent生成。例如示例中的"hostId":"318c02fe-xxxx-4c91-b5bb-6923513b6c34"。 hostIP 字符串 索引设置：开启索引后，日志服务默认为hostIP创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostIP: xxx。 主机IP，日志采集器所在主机的ip（适用于ipv4场景） 例如示例中的"hostIP":"192.168.0.31"。 hostIPv6 字符串 索引设置：开启索引后，日志服务默认为hostIPv6创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostIPv6: xxx。 主机IP，日志采集器所在主机的ip（适用于ipv6场景） 例如示例中的"hostIPv6":""。 pathFile 字符串 索引设置：开启索引后，日志服务默认为pathFile创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入pathFile: xxx。 文件路径，采集的日志文件的路径。 例如示例中的"pathFile":"stdout.log"。 content 字符串 索引设置：开启全文索引后，会使用全文索引定义的分词符对content字段的value进行分词；不支持将content字段配置到字段索引中。 日志原文， 例如示例中的"content":"level=error ts=2023-04-19T09:21:21.333895559Z" __receive_time__ 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为__receive_time__创建字段索引，索引数据类型为long类型。 上报日志的服务端时间，相当于LTS采集端接收到日志的时间。 __client_time__ 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为__client_time__创建字段索引，索引数据类型为long类型。 端侧日志的客户端上报时间。 _content_parse_fail_ 字符串 索引设置：开启索引后，日志服务默认为_content_parse_fail_创建字段索引，索引数据类型为string类型，分词字符为默认分词符。查询时输入_content_parse_fail_: xxx。 上报日志解析失败的日志内容。 __time 整型，Unix时间戳（毫秒） 不支持将__time字段配置到字段索引中。 不涉及。 logContent 字符串 不支持将logContent字段配置到字段索引中。 不涉及。 logContentSize 整型 不支持将logContentSize字段配置到字段索引中。 不涉及。 logIndexSize 整型 不支持将logIndexSize字段配置到字段索引中。 不涉及。 groupName 字符串 不支持将groupName字段配置到字段索引中。 不涉及。 logStream 字符串 不支持将logStream字段配置到字段索引中。 不涉及。

配置字段索引 创建字段索引时，最多支持添加500个字段。其中JSON类型字段，最多支持添加100个子字段。 字段索引的自定义分词符和特殊分词符仅支持白名单用户提交工单申请使用。详细操作请参考提交工单。 配置全文索引后，在索引配置页面的 日志分析 下方，单击开启可视化后，配置的字段索引支持SQL可视化分析，否则无法查询到ICAgent结构化的可视化数据。 在索引配置页面的字段索引下方，单击“添加字段”，配置字段索引。具体的参数配置请参考表5 自定义字段索引配置参数。 字段索引的参数配置仅对该字段生效。 当添加的字段在日志内容中不存在时，则配置的该索引字段无效。 更多内置字段请参考内置保留字段。 自动配置字段索引：单击“自动配置”，云日志服务会根据采集时预览数据中的第一条内容或常见内置保留字段（例如hostIP、hostName、pathFile）自动生成字段索引，您可以根据自己的需要增加或者删除字段。 批量配置字段索引：批量勾选字段，单击“批量配置”，进行批量配置字段索引。 表3 自定义字段索引配置参数 参数 说明 字段名称 日志字段名称，例如示例日志中的level。 字段名称只能包括字母、数字或下划线（_），且只能以字母或下划线（_）开头，字段名称中不能含有双下划线。 说明： 双下划线（__）在LTS不对用户呈现的内置保留字段中使用，用户自定义日志字段名中不能使用双下划线__，否则无法配置字段索引名称。 日志服务默认会对部分内置保留字段开启字段索引，请参见内置保留字段。 若是内置字段，在字段名称后会显示“内置”字眼，方便用户识别。 执行操作 显示字段的添加状态：新增、不修改、修改、删除。索引字段有变动后，单击“修改对比”，即可查看原配置内容与修改后配置内容的差异。 显示新增的字段不支持修改执行操作。 修改类型、大小写敏感、自定义分词符、特殊分词符、包含中文、快速分析时，会与原索引配置中的字段进行对比，若任意一项不同，则执行操作变为“修改”。 索引配置单击确定后，不会保存执行操作为“删除”的字段。 类型 日志字段值（Value）的数据类型，可选值为string、long、float、json。 说明： 字段json类型只对ICAgent结构化解析生效，对云端结构化解析不生效。 long类型和float类型不支持设置大小写敏感、包含中文和分词符。 大小写敏感 查询时是否区分英文字母的大小写。 打开大小写敏感开关，则查询时区分大小写。例如示例日志message字段中含有Know，那么您只能使用message:Know才能查询到该日志。 关闭大小写敏感开关，则查询时不区分大小写。例如示例日志message字段中含有Know，那么您使用关键字message:KNOW和message:know都能查到该日志。 自定义分词符 根据指定分词符，将日志内容拆分成多个词。当默认设置不能满足您的需求时，您可以自定义设置分词符。所有的ASCII码包括中文都可被定义为分词符。 如果设置分词符为空，则字段值将被当成一个整体，您只能通过完整字符串或模糊查询查找对应的日志。 例如示例日志message字段内容为：I Know 今天是星期一。 如果不设置任何分词符，整条日志被作为一个词I Know 今天是星期一，您只能通过完整字符串message:I Know 今天是星期一或模糊查询message:I Know 今天是*查找该日志。 如果设置分词符为空格，则原始日志被拆分为I、Know、今天是星期一3个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如message:Know或message:今天是星期一。 特殊分词符 单击“添加特殊分词符”，参考ASCII码对照表输入ASCII值。 包含中文 查询时是否区分中英文。 打开包含中文开关后，如果日志中包含中文，默认按照一元分词法拆分中文内容，按照分词符的设置拆分英文内容。 说明： 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高，其他中文分词方法对写入速度影响大。 打开包含中文功能，会对中文使用一元分词（每个汉字单独分词），如果需要更精确的搜索结果，请用短语搜索，语法为：#"待搜索的短语"。 关闭包含中文开关后，按照分词符的设置拆分所有内容。 例如示例日志message字段内容为：I Know 今天是星期一。 关闭包含中文开关后，按照分词符的设置拆分英文内容，日志会被拆分为I、Know、今天是星期一，您可以通过message:Know或message:今天是星期一查找该日志。 打开包含中文开关后，日志服务后台分词器将日志拆分为I、Know、今、天、是、星、期、一，您通过message:Know或message:今天等词都可以查找到该日志。 快速分析 默认为开启状态，开启后，可以对字段值做采样统计，请参见11.6.4-快速分析。 说明： 快速分析的原理是对搜索命中的日志采样10万条进行数据统计，不是全量统计。 快速分析的字段长度最大为2000字节。 快速分析字段展示前100条数据。 操作 单击，删除添加的自定义字段。 图1 批量配置 完成后，单击“确定”。

注意事项 全文索引属性和字段索引属性必须至少启用一种。 创建索引会产生索引流量和索引存储空间，费用说明请参见价格计算器。 关闭索引后，历史索引的存储空间将在当前日志流的数据保存时间到期后，自动被清除。 云日志服务默认已为部分内置保留字段创建字段索引，请参见内置保留字段。 不同的索引配置，会产生不同的查询和分析结果，请根据您的需求，合理创建索引。全文索引和字段索引互不影响。 索引配置修改后，对新写入的日志数据生效，历史日志数据不会生效。 在字段索引功能上线前，SQL分析支持的字段来自于云端结构化解析；在字段索引功能上线后，只要用户配置了字段索引，SQL分析支持的字段将来自于字段索引，因此修改字段索引可能对现有的可视化图表、仪表盘、SQL告警、定时SQL、Grafana接入中的查询结果产生影响，请谨慎操作！ 字段索引配置为JSON数据类型时，在“日志搜索”页面不支持对JSON子字段使用快速分析、跳转图表，不支持可视化；在“搜索分析”页面下支持JSON子字段使用快速分析和SQL可视化功能。 字段索引配置为JSON数据类型时，对JSON父字段查询时支持对命中结果高亮，对JSON子字段查询时不支持对命中结果高亮。

配置全文索引 登录云日志服务控制台，进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面，单击右上角，在弹出页面中，选择“索引配置”，进入索引配置页面。 在索引配置页面中，默认开启“全文索引”按钮，参考表3 自定义全文索引配置参数配置各参数信息。 在索引配置页面选择自动配置时，默认获取最近15分钟的原始日志和内置字段的交集，LTS自动将原始日志和内置字段的交集、当前结构化字段、tag字段一起组成字段索引下方的表格数据。 若15分钟内没有原始日志，则获取hostIP、hostName、pathFile、结构化字段、tag字段结合共同组成字段索引下方的表格数据。 ECS接入选择结构化配置时，进入索引配置页面，则会自动加上如下字段：category、 hostName、hostId、 hostIP、 hostIPv6、 pathFile，添加字段时，若某个字段已存在于索引配置，则不会重复添加。 CCE接入选择结构化配置时，进入索引配置页面，则会自动加上如下字段：category、 clusterId、 clusterName、 nameSpace、 podName、 containerName、 appName、 hostName、 hostId、 hostIP、 hostIPv6、 pathFile，添加字段时，若某个字段已存在于索引配置，则不会重复添加。 表2 自定义全文索引配置参数 参数 说明 全文索引 打开全文索引开关，表示创建全文索引。 大小写敏感 查询时是否区分英文字母的大小写。 打开大小写敏感开关，则查询时区分大小写。例如示例日志含有Know，那么您只能使用Know才能查询到该日志。 关闭大小写敏感开关，则查询时不区分大小写。例如示例日志含有Know，那么您使用关键字KNOW和know都能查到该日志。 包含中文 查询时是否区分中英文。 打开包含中文开关后，如果日志中包含中文，默认按照一元分词法拆分中文内容，按照分词符的设置拆分英文内容。 说明： 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高，其他中文分词方法对写入速度影响大。 打开包含中文功能，会对中文使用一元分词（每个汉字单独分词），如果需要更精确的搜索结果，请用短语搜索，语法为：#"待搜索的短语"。 关闭包含中文开关后，按照分词符的设置拆分所有内容。 例如示例日志内容为： error,400,I Know 今天是星期一。 关闭包含中文开关后，按照分词符的设置拆分英文内容，日志会被拆分为error、400、I、Know、今天是星期一，您可以通过error或今天是星期一查找该日志。 打开包含中文开关后，日志服务后台分词器将日志拆分为error、400、I、Know、今、天、是、星、期、一，您通过error或今天等词都可以查找到该日志。 分词符 根据指定分词符，将日志内容拆分成多个词。当默认设置不能满足您的需求时，您可以自定义设置分词符。所有的ASCII码包括中文都可被定义为分词符。 如果设置分词符为空，则字段值将被当成一个整体，您只能通过完整字符串或模糊查询查找对应的日志。 单击“预览”，查看分词预览效果。 例如示例日志内容为： error,400,I Know 今天是星期一。 如果不设置任何分词符，整条日志被作为一个词error,400,I Know 今天是星期一，您只能通过完整字符串error,400,I Know 今天是星期一或模糊查询error,400,I K*查找该日志。 如果设置分词符为逗号（,），则原始日志被拆分为error、400、I Know 今天是星期一3个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如error、400、I Kn*、今天是*。 如果设置分词符为逗号（,）和空格，则原始日志被拆分为error、400、I、Know、今天是星期一5个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如Know、今天是*。 特殊分词符 单击“添加特殊分词符”，参考ASCII码对照表输入ASCII值。 完成后，单击“确定”。

索引类型 云日志服务LTS 支持全文索引和字段索引，详细请参考表1。 表1 索引类型 索引类型 说明 全文索引 开启全文索引后，日志服务根据您设置的分词符将整条日志所有字段值拆分成多个词并构建索引。 说明： 用户上传的自定义标签（label）字段，不包含在全文索引中，如果您需要搜索自定义标签字段，请添加对应的字段索引。 LTS内置保留字段，不包含在全文索引中，您需要通过字段索引Key:Value的方式进行搜索，请参考内置保留字段。 字段索引 配置字段索引后，您可以指定字段名称和字段值（Key:Value）进行查询，缩小查询范围。 说明： 日志服务默认为部分内置保留字段创建字段索引，请参考内置保留字段。 如果您的某个字段单独配置了字段索引，那么该字段值的分词符以字段索引配置为准。 结构化配置中的快速分析列已被移除，如果您要使用快速分析功能，则必须配置字段索引且开启对应字段的快速分析按钮。 关于日志示例有两种情况： 在日志示例中，配置了level和status两个字段索引，其中level是string类型，字段值是error，单独配置了分词符，status是long类型，不需要配置分词符；您可以使用level : error的方式精确搜索level字段值为error的所有日志。 在日志示例中，云日志服务LTS会默认为hostName、hostIP、pathFile这些内置保留字段创建字段索引。

开启自定义日志时间 登录云日志服务控制台，进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面，单击右上角，在弹出页面中，选择“云端结构化解析”，详细请参考设置日志云端结构化解析。 配置完成后，开启自定义日志时间开关，配置如下参数。 切换自定义日志时间开关时，可能会导致日志搜索界面在切换时间点附近出现时间偏差，请勿频繁切换自定义日志时间开关。 表1 参数配置表 参数 说明 示例 字段key 已提取字段的名称。单击下拉框选择已提取的字段，该字段为string或long类型。 test 字段value 已提取的字段value，选择字段key后，将自动填充。 2022-07-19 12:12:00 时间格式 请参考常见日志时间格式。 yyyy-MM-dd HH:mm:ss 操作 单击“校验”，提示“时间格式和字段value匹配成功”则表示校验成功。 -

示例 常见的时间标准、示例及对应的时间表达式如下表3。 表3 示例 示例 时间表达式 时间标准 2022-07-14T19:57:36+08:00 yyyy-MM-dd'T'HH:mm:ssXXX 自定义 1548752136 %s 自定义 27/Jan/2022:15:56:44 dd/MMM/yyyy:HH:mm:ss 自定义 2022-08-15 17:53:23+08 yyyy-MM-dd HH:mm:ssX 自定义 2022-08-05T08:24:15.536+0000 yyyy-MM-dd'T'HH:mm:ss.SSSZ 自定义 2022-08-20T10:04:03.204000Z yyyy-MM-dd'T'HH:mm:ss.SSSZ 自定义 2022-08-22T06:52:08Z yyyy-MM-dd'T'HH:mm:ssZ 自定义 2022-07-24T10:06:41.000 yyyy-MM-dd'T'HH:mm:ss.SSS 自定义 [2022-12-11 15:05:07.012] [yyyy-MM-dd HH:mm:ss.SSS] 自定义 Monday, 02-Jan-06 15:04:05 MST EEEE, dd-MMM-yy HH:mm:ss Z RFC850 Mon, 02 Jan 2006 15:04:05 MST EEE, dd MMM-yyyy HH:mm:ss Z RFC1123 02 Jan 06 15:04 MST dd MMM yy HH:mm Z RFC822 02 Jan 06 15:04 -0700 dd MMM yy HH:mm Z RFC822Z 2023-01-02T15:04:05.999999999Z07:00 yyyy-MM-dd'T'HH:mm:ss Z RFC3339Nano 2023-01-02T15:04:05Z07:00 yyyy-MM-dd'T'HH:mm:ss Z RFC3339 2022-12-11 15:05:07 yyyy-MM-dd HH:mm:ss 自定义

设置采集开关 登录云日志服务控制台。 左侧导航选择“配置中心”，单击“ICAgent采集开关”。 ICAgent采集开关是用来控制ICAgent是否对日志数据进行采集。 “ICAgent采集开关”默认打开，当您不需要采集日志时，通过关闭“ICAgent采集开关”停止日志采集，以减少资源占用。 “ICAgent采集开关”关闭后，ICAgent会停止采集日志，且在 应用运维管理 AOM控制台的“日志采集开关”也会同步关闭。 采集Syslog日志到 AOM 用来控制ICAgent是否采集Syslog日志到AOM1.0。开关关闭后，ICAgent将不会采集Syslog日志到AOM1.0，此功能仅支持5.12.182以上版本的ICAgent。 采集容器标准输出到AOM。选择CCE集群，开启或关闭应用到该集群。开关关闭后，ICAgent将不会采集标准输出日志到AOM，此功能仅支持5.12.133以上版本的ICAgent。建议使用云容器引擎CCE应用日志接入LTS直接采集容器标准输出到LTS，不推荐采集到AOM。 ICAgent诊断开关用来控制是否开启采集诊断功能。开关开启后ICAgent运行日志将上报到日志组/日志流lts-system/lts-icagent-statistics，然后您可以使用采集诊断功能查看ICAgent运行状态，及时发现异常情况，此功能仅支持5.12.196及以上版本的ICAgent。详细请参考采集诊断仪表盘模板。

分析日志 登录云日志服务控制台，进入“日志管理”页面。 单击目标日志组或日志流名称，进入日志详情页面。 选择“日志分析”页签。 在可视化页面支持交互式分析，通过该模块配置简单的分析语句，查询可视化数据，配置可视化图表。设置过滤条件，通过添加指标、添加分组、添加排序进行数据分析，方便用户操作。 选择时间范围，参考SQL分析语法介绍输入SQL语句，单击“查询”，在下方区域通过不同类型图表展示搜索结果。 时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。 自定义：表示查询指定时间范围的日志数据。 SQL查询约束有： 单次查询返回结果最多10W条。 当聚合结果超过10W时，聚合结果可能存有误差。 SQL查询语句中，string类型的where条件的键值有限制： 精确查找value需添加英文单引号， 模糊查找value需添加英文单引号或者双引号，key与SQL内置保留字段名称相同时需添加英文双引号。 建议使用where条件时，使用where "key"='value'，或者where "key" like '%value%'。 SQL查询语句中，float和long类型的where条件不受限制，但当与关键词冲突时可能会导致查询异常，建议使用where "key"='value'，或者where "key" like '%value%'进行查询。 日志搜索框支持自定义上下拖动调整高度。 输入搜索语法后，单击设置格式化sql和反格式化sql，优化搜索语句，提高搜索效率。 当设置时间范围内日志量超过10亿行时会触发迭代查询，可以通过迭代查询分多次完成全部日志的查询，界面会显示“查询状态：结果精确”。 根据SQL查询返回的数据，依照业务需求选择不同图表类型，呈现查询结果。详细请参考使用统计图表将日志可视化。 对查询结果可执行如下操作： 单击“新建”，在弹出的“创建可视化图表”中，根据业务需求填写“图表名称”，开启“同时添加到仪表盘”，单击“确定”，可视化图表保存成功。 单击“保存”，对在弹出的“保存可视化图表”中，根据业务需求填写“图表名称”，开启“同时添加到仪表盘”，单击“确定”，可视化图表保存成功；当选中某个可视化图表时，单击“保存”，可对该图表进行修改。 单击“另存为”，在弹出的“另存为可视化图表”中，根据业务需求填写“图表名称”，开启“同时添加到仪表盘”，单击“确定”，对已有可视化图表进行复制。 须先保存一个图表后，才可另存为可视化图表。 单击“下载”，可下载当前SQL查询结果的可视化数据，该文件为.csv。 单击按钮添加告警，在弹出的“新建告警规则”中，为选中的可视化图表配置创建SQL告警规则。 须先保存一个图表后，才能新建告警规则。 单击“展开图表”，可对当前日志流下的可视化图表展开；单击“收起图表”，可收起当前日志流下展开的可视化图表。

配置超额采集 当日志超过每月免费赠送的额度（500M）时，超过的部分将按需收费。如果每月免费赠送的额度已经可以满足您的使用需求，超过后希望暂停日志收集，可以在配置中心进行设置。 该开关默认为开启状态，开启后表示当日志超过免费赠送的额度（500M）时，继续采集日志，超过的部分按需收费。 云日志服务的计费依据为日志使用量，包括日志读写、日志索引和日志存储。超过免费额度后，如果关闭日志采集开关，将无法再进行日志读写和索引，同时也不再产生日志读写和索引费用。关闭日志采集开关后，超额部分的日志继续存储在LTS，LTS收取日志存储费用，系统将根据配置的日志存储时间老化日志，日志老化后将不再产生任何费用。 云日志服务与应用运维管理的日志采集开关为同步状态，即如果您在应用运维管理服务关闭了“超额继续采集日志”开关，则云日志服务的开关也同步关闭。 登录云日志服务控制台。 左侧导航选择“配置中心”。 选择关闭“超额继续采集日志”。 关闭后表示当日志超过每月免费赠送的额度(500M)时，将暂停采集日志。

查看告警 登录云日志服务控制台。 左侧导航选择“日志告警”。 默认显示“告警列表”页面，在该页面默认显示30分钟（相对）的所有告警列表及其趋势图。 输入查询条件后进行搜索，页面会展示该条件下的所有告警信息及这些告警的趋势图，具体查询条件如下： 在页面上方搜索框中可根据日志组、日志流和告警级别进行搜索。 设置时间范围，默认时间范围为30分钟（相对）。 时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。 自定义：表示查询指定时间范围的日志数据。 设置搜索条件后，单击，查找在已设时间范围内满足搜索条件的告警。 查询的告警默认显示在“活动告警”页签下，将鼠标放在目标告警所在行中的“告警详情”可查看告警详情。单击告警列表中对应的“名称”，界面右侧弹出该告警的详细信息。 告警故障已经解除时，可单击列表中告警所在行后的删除按钮对该告警进行清除，被执行清除操作后的告警将会显示在“历史告警”页签。 针对已设置好的搜索条件，告警列表默认需要手动刷新，如需设置自动刷新可单击告警界面右上角，在弹出的下拉列表中选择“30秒自动刷新”、“1分钟自动刷新”或“5分钟自动刷新”，若在设置自动刷新后需要手动刷新，也可在下拉列表重新选择“手动刷新”。

内置保留字段 在采集日志时，云日志服务会将采集时间、日志类型、主机IP等信息以Key-Value对的形式添加到日志中，这些字段是云日志服务的内置字段。 使用API写入日志数据或添加ICAgent配置时，请不要将字段名称设置为内置保留字段，否则可能会造成字段名称重复、查询不精确等问题。 日志服务为日志数据增加的内置保留字段当前免费，后续会按照按量付费方式正常收费（为其开启索引时也会产生少量索引流量及存储费用）。更多信息请参见价格计算器。 用户自定义日志字段名称中不能使用双下划线__，否则无法配置索引。 表4 内置保留字段说明 内置保留字段 数据格式 索引与统计设置 说明 collectTime 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为collectTime创建字段索引，索引数据类型为long类型。 查询时输入collectTime : xxx。 采集时间，指日志被采集器ICAgent采集时的时间。 例如示例中的"collectTime":"1681896081334"，转换成标准时间是2023-04-19 17:21:21 __time__ 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为time创建字段索引，索引数据类型为long类型。该字段不支持查询。 日志时间，指的是日志在控制台页面展示的日志时间。 例如示例中的"__time__":"1681896081334"，转换成标准时间是2023-04-19 17:21:21 日志时间默认使用采集时间，也支持自定义日志时间。 lineNum 整型 索引设置：开启索引后，日志服务默认为lineNum创建字段索引，索引数据类型为long类型。 行号（偏移量），用来排序日志。 非高精度日志会根据collectTime生成，默认是collectTime * 1000000 + 1，高精度日志就是用户上报的纳秒值。 例如示例中的"lineNum":"1681896081333991900"。 category 字符串 索引设置：开启索引后，日志服务默认为category创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入category: xxx。 日志类型，表示该日志的来源。 例如ICAgent采集的日志该字段为LTS，某云服务例如DCS上报的日志该字段为DCS。 clusterName 字符串 索引设置：开启索引后，日志服务默认为clusterName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入clusterName: xxx。 集群名称，k8s场景下集群名称。 例如示例中的"clusterName":"epstest"。 clusterId 字符串 索引设置：开启索引后，日志服务默认为clusterId创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入clusterId: xxx。 集群ID，k8s场景下集群ID。例如示例中的"clusterId":"c7f3f4a5-xxxx-11ed-a4ec-0255ac100b07"。 nameSpace 字符串 索引设置：开启索引后，日志服务默认为nameSpace创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入nameSpace: xxx。 命名空间，k8s场景下命名空间。 例如示例中的"nameSpace":"monitoring"。 appName 字符串 索引设置：开启索引后，日志服务默认为appName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入appName: xxx。 组件名称，k8s场景下工作负载的名称。 例如示例中的"appName":"alertmanager-alertmanager"。 serviceID 字符串 索引设置：开启索引后，日志服务默认为serviceID创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入serviceID: xxx。 工作负载ID，k8s场景下工作负载ID。 例如示例中的"serviceID":"cf5b453xxxad61d4c483b50da3fad5ad"。 podName 字符串 索引设置：开启索引后，日志服务默认为podName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入podName: xxx。 POD名称，k8s场景下POD名称。 例如示例中的"podName":"alertmanager-alertmanager-0"。 podIp 字符串 索引设置：开启索引后，日志服务默认为podIp创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入podIp: xxx。 pod的ip，k8s场景下pod的IP地址。 例如示例中的"podIp":"10.0.0.145"。 containerName 字符串 索引设置：开启索引后，日志服务默认为containerName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入containerName: xxx。 容器名称，k8s场景下容器名称。 例如示例中的"containerName":"config-reloader"。 hostName 字符串 索引设置：开启索引后，日志服务默认为hostName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostName: xxx。 主机名称，ICAgent所在主机的名称。 例如示例中的"hostName":"epstest-xx518"。 hostId 字符串 索引设置：开启索引后，日志服务默认为hostId创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostId: xxx。 主机ID，ICAgent所在主机的id，该id由ICAgent生成。例如示例中的"hostId":"318c02fe-xxxx-4c91-b5bb-6923513b6c34"。 hostIP 字符串 索引设置：开启索引后，日志服务默认为hostIP创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostIP: xxx。 主机IP，日志采集器所在主机的ip（适用于ipv4场景） 例如示例中的"hostIP":"192.168.0.31"。 hostIPv6 字符串 索引设置：开启索引后，日志服务默认为hostIPv6创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostIPv6: xxx。 主机IP，日志采集器所在主机的ip（适用于ipv6场景） 例如示例中的"hostIPv6":""。 pathFile 字符串 索引设置：开启索引后，日志服务默认为pathFile创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入pathFile: xxx。 文件路径，采集的日志文件的路径。 例如示例中的"pathFile":"stdout.log"。 content 字符串 索引设置：开启全文索引后，会使用全文索引定义的分词符对content字段的value进行分词；不支持将content字段配置到字段索引中。 日志原文， 例如示例中的"content":"level=error ts=2023-04-19T09:21:21.333895559Z" __receive_time__ 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为__receive_time__创建字段索引，索引数据类型为long类型。 上报日志的服务端时间，相当于LTS采集端接收到日志的时间。 __client_time__ 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为__client_time__创建字段索引，索引数据类型为long类型。 端侧日志的客户端上报时间。 _content_parse_fail_ 字符串 索引设置：开启索引后，日志服务默认为_content_parse_fail_创建字段索引，索引数据类型为string类型，分词字符为默认分词符。查询时输入_content_parse_fail_: xxx。 上报日志解析失败的日志内容。 __time 整型，Unix时间戳（毫秒） 不支持将__time字段配置到字段索引中。 不涉及。 logContent 字符串 不支持将logContent字段配置到字段索引中。 不涉及。 logContentSize 整型 不支持将logContentSize字段配置到字段索引中。 不涉及。 logIndexSize 整型 不支持将logIndexSize字段配置到字段索引中。 不涉及。 groupName 字符串 不支持将groupName字段配置到字段索引中。 不涉及。 logStream 字符串 不支持将logStream字段配置到字段索引中。 不涉及。

配置字段索引 创建字段索引时，最多支持添加500个字段。其中JSON类型字段，最多支持添加100个子字段。 字段索引的自定义分词符和特殊分词符仅支持白名单用户提交工单申请使用。详细操作请参考提交工单。 配置全文索引后，在索引配置页面的日志分析下方，单击开启可视化后，配置的字段索引支持SQL可视化分析，否则无法查询到ICAgent结构化的可视化数据。 在索引配置页面的字段索引下方，单击“添加字段”，配置字段索引。具体的参数配置请参考表5 自定义字段索引配置参数。 字段索引的参数配置仅对该字段生效。 当添加的字段在日志内容中不存在时，则配置的该索引字段无效。 更多内置字段请参考内置保留字段。 自动配置字段索引：单击“自动配置”，云日志服务会根据采集时预览数据中的第一条内容或常见内置保留字段（例如hostIP、hostName、pathFile）自动生成字段索引，您可以根据自己的需要增加或者删除字段。 批量配置字段索引：批量勾选字段，单击“批量配置”，进行批量配置字段索引。 表3 自定义字段索引配置参数 参数 说明 字段名称 日志字段名称，例如示例日志中的level。 字段名称只能包括字母、数字或下划线（_），且只能以字母或下划线（_）开头，字段名称中不能含有双下划线。 说明： 双下划线（__）在LTS不对用户呈现的内置保留字段中使用，用户自定义日志字段名中不能使用双下划线__，否则无法配置字段索引名称。 日志服务默认会对部分内置保留字段开启字段索引，请参见内置保留字段。 若是内置字段，在字段名称后会显示“内置”字眼，方便用户识别。 执行操作 显示字段的添加状态：新增、不修改、修改、删除。索引字段有变动后，单击“修改对比”，即可查看原配置内容与修改后配置内容的差异。 显示新增的字段不支持修改执行操作。 修改类型、大小写敏感、自定义分词符、特殊分词符、包含中文、快速分析时，会与原索引配置中的字段进行对比，若任意一项不同，则执行操作变为“修改”。 索引配置单击确定后，不会保存执行操作为“删除”的字段。 类型 日志字段值（Value）的数据类型，可选值为string、long、float、json。 说明： 字段json类型只对ICAgent结构化解析生效，对云端结构化解析不生效。 long类型和float类型不支持设置大小写敏感、包含中文和分词符。 大小写敏感 查询时是否区分英文字母的大小写。 打开大小写敏感开关，则查询时区分大小写。例如示例日志message字段中含有Know，那么您只能使用message:Know才能查询到该日志。 关闭大小写敏感开关，则查询时不区分大小写。例如示例日志message字段中含有Know，那么您使用关键字message:KNOW和message:know都能查到该日志。 自定义分词符 根据指定分词符，将日志内容拆分成多个词。当默认设置不能满足您的需求时，您可以自定义设置分词符。所有的ASCII码包括中文都可被定义为分词符。 如果设置分词符为空，则字段值将被当成一个整体，您只能通过完整字符串或模糊查询查找对应的日志。 例如示例日志message字段内容为：I Know 今天是星期一。 如果不设置任何分词符，整条日志被作为一个词I Know 今天是星期一，您只能通过完整字符串message:I Know 今天是星期一或模糊查询message:I Know 今天是*查找该日志。 如果设置分词符为空格，则原始日志被拆分为I、Know、今天是星期一3个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如message:Know或message:今天是星期一。 特殊分词符 单击“添加特殊分词符”，参考ASCII码对照表输入ASCII值。 包含中文 查询时是否区分中英文。 打开包含中文开关后，如果日志中包含中文，默认按照一元分词法拆分中文内容，按照分词符的设置拆分英文内容。 说明： 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高，其他中文分词方法对写入速度影响大。 打开包含中文功能，会对中文使用一元分词（每个汉字单独分词），如果需要更精确的搜索结果，请用短语搜索，语法为：#"待搜索的短语"。 关闭包含中文开关后，按照分词符的设置拆分所有内容。 例如示例日志message字段内容为：I Know 今天是星期一。 关闭包含中文开关后，按照分词符的设置拆分英文内容，日志会被拆分为I、Know、今天是星期一，您可以通过message:Know或message:今天是星期一查找该日志。 打开包含中文开关后，日志服务后台分词器将日志拆分为I、Know、今、天、是、星、期、一，您通过message:Know或message:今天等词都可以查找到该日志。 快速分析 默认为开启状态，开启后，可以对字段值做采样统计，请参见11.6.4-快速分析。 说明： 快速分析的原理是对搜索命中的日志采样10万条进行数据统计，不是全量统计。 快速分析的字段长度最大为2000字节。 快速分析字段展示前100条数据。 操作 单击，删除添加的自定义字段。 图1 批量配置 完成后，单击“确定”。

配置全文索引 登录云日志服务控制台，进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面，单击右上角，在弹出页面中，选择“索引配置”，进入索引配置页面。 在索引配置页面中，默认开启“全文索引”按钮，参考表3 自定义全文索引配置参数配置各参数信息。 在索引配置页面选择自动配置时，默认获取最近15分钟的原始日志和内置字段的交集，LTS自动将原始日志和内置字段的交集、当前结构化字段、tag字段一起组成字段索引下方的表格数据。 若15分钟内没有原始日志，则获取hostIP、hostName、pathFile、结构化字段、tag字段结合共同组成字段索引下方的表格数据。 ECS接入选择结构化配置时，进入索引配置页面，则会自动加上如下字段：category、 hostName、hostId、 hostIP、 hostIPv6、 pathFile，添加字段时，若某个字段已存在于索引配置，则不会重复添加。 CCE接入选择结构化配置时，进入索引配置页面，则会自动加上如下字段：category、 clusterId、 clusterName、 nameSpace、 podName、 containerName、 appName、 hostName、 hostId、 hostIP、 hostIPv6、 pathFile，添加字段时，若某个字段已存在于索引配置，则不会重复添加。 表2 自定义全文索引配置参数 参数 说明 全文索引 打开全文索引开关，表示创建全文索引。 大小写敏感 查询时是否区分英文字母的大小写。 打开大小写敏感开关，则查询时区分大小写。例如示例日志含有Know，那么您只能使用Know才能查询到该日志。 关闭大小写敏感开关，则查询时不区分大小写。例如示例日志含有Know，那么您使用关键字KNOW和know都能查到该日志。 包含中文 查询时是否区分中英文。 打开包含中文开关后，如果日志中包含中文，默认按照一元分词法拆分中文内容，按照分词符的设置拆分英文内容。 说明： 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高，其他中文分词方法对写入速度影响大。 打开包含中文功能，会对中文使用一元分词（每个汉字单独分词），如果需要更精确的搜索结果，请用短语搜索，语法为：#"待搜索的短语"。 关闭包含中文开关后，按照分词符的设置拆分所有内容。 例如示例日志内容为： error,400,I Know 今天是星期一。 关闭包含中文开关后，按照分词符的设置拆分英文内容，日志会被拆分为error、400、I、Know、今天是星期一，您可以通过error或今天是星期一查找该日志。 打开包含中文开关后，日志服务后台分词器将日志拆分为error、400、I、Know、今、天、是、星、期、一，您通过error或今天等词都可以查找到该日志。 分词符 根据指定分词符，将日志内容拆分成多个词。当默认设置不能满足您的需求时，您可以自定义设置分词符。所有的ASCII码包括中文都可被定义为分词符。 如果设置分词符为空，则字段值将被当成一个整体，您只能通过完整字符串或模糊查询查找对应的日志。 单击“预览”，查看分词预览效果。 例如示例日志内容为： error,400,I Know 今天是星期一。 如果不设置任何分词符，整条日志被作为一个词error,400,I Know 今天是星期一，您只能通过完整字符串error,400,I Know 今天是星期一或模糊查询error,400,I K*查找该日志。 如果设置分词符为逗号（,），则原始日志被拆分为error、400、I Know 今天是星期一3个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如error、400、I Kn*、今天是*。 如果设置分词符为逗号（,）和空格，则原始日志被拆分为error、400、I、Know、今天是星期一5个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如Know、今天是*。 特殊分词符 单击“添加特殊分词符”，参考ASCII码对照表输入ASCII值。 完成后，单击“确定”。

索引类型 云日志服务LTS支持全文索引和字段索引，详细请参考表1。 表1 索引类型 索引类型 说明 全文索引 开启全文索引后，日志服务根据您设置的分词符将整条日志所有字段值拆分成多个词并构建索引。 说明： 用户上传的自定义标签（label）字段，不包含在全文索引中，如果您需要搜索自定义标签字段，请添加对应的字段索引。 LTS内置保留字段，不包含在全文索引中，您需要通过字段索引Key:Value的方式进行搜索，请参考内置保留字段。 字段索引 配置字段索引后，您可以指定字段名称和字段值（Key:Value）进行查询，缩小查询范围。 说明： 日志服务默认为部分内置保留字段创建字段索引，请参考内置保留字段。 如果您的某个字段单独配置了字段索引，那么该字段值的分词符以字段索引配置为准。 结构化配置中的快速分析列已被移除，如果您要使用快速分析功能，则必须配置字段索引且开启对应字段的快速分析按钮。 关于日志示例有两种情况： 在日志示例中，配置了level和status两个字段索引，其中level是string类型，字段值是error，单独配置了分词符，status是long类型，不需要配置分词符；您可以使用level : error的方式精确搜索level字段值为error的所有日志。 在日志示例中，云日志服务LTS会默认为hostName、hostIP、pathFile这些内置保留字段创建字段索引。

注意事项 全文索引属性和字段索引属性必须至少启用一种。 创建索引会产生索引流量和索引存储空间，费用说明请参见价格计算器。 关闭索引后，历史索引的存储空间将在当前日志流的数据保存时间到期后，自动被清除。 云日志服务默认已为部分内置保留字段创建字段索引，请参见内置保留字段。 不同的索引配置，会产生不同的查询和分析结果，请根据您的需求，合理创建索引。全文索引和字段索引互不影响。 索引配置修改后，对新写入的日志数据生效，历史日志数据不会生效。 在字段索引功能上线前，SQL分析支持的字段来自于云端结构化解析；在字段索引功能上线后，只要用户配置了字段索引，SQL分析支持的字段将来自于字段索引，因此修改字段索引可能对现有的可视化图表、仪表盘、SQL告警、定时SQL、Grafana接入中的查询结果产生影响，请谨慎操作！ 字段索引配置为JSON数据类型时，在“日志搜索”页面不支持对JSON子字段使用快速分析、跳转图表，不支持可视化；在“搜索分析”页面下支持JSON子字段使用快速分析和SQL可视化功能。 字段索引配置为JSON数据类型时，对JSON父字段查询时支持对命中结果高亮，对JSON子字段查询时不支持对命中结果高亮。

步骤四：查看实时日志 完成日志接入配置后，可以在云日志服务控制台实时查看上报的日志。 如果您正在使用实时查看功能，请停留在实时查看页面，请勿切换页面。如果您离开实时查看页面，实时查看功能将会被关闭。 在“接入管理”页面，单击目标日志接入任务“所属日志流”列的日志流名称，即可进入日志流详情页。 单击“实时日志”页签，查看实时日志。 日志大约每隔5秒钟上报一次，在日志消息区域，您最多需要等待5秒钟左右，即可查看实时上报的日志。 图10 实时日志

前提条件 注册账号并实名认证。使用LTS前，需要先注册一个华为账号并进行实名认证。如果您已有一个华为账号，可直接跳过如下操作。 进入华为云官网，单击页面右上角的“注册”。 参考 注册华为账号 并开通华为云中操作，完成注册。 注册后参考实名认证完成个人或企业账号实名认证。 为账户充值。如果您的账户有足够金额，请跳到下一个任务。如果您的账户还没有足够金额，请先为账户充值。 关于云日志服务LTS的价格，请参见LTS价格详情。 关于充值，请参见账户充值。 为用户添加云日志服务LTS的操作权限。 您需要有LTS的管理员权限“LTS FullAccess”，具体操作请参考授权 IAM 用户使用LTS。 本操作以Linux系统的ECS为例，准备好需要采集日志的ECS主机，详细请参考购买弹性云服务器。如果您已有可用的ECS主机，可重复使用，不需要再次创建。

步骤一：创建日志组和日志流 日志组和日志流是云日志服务进行日志管理的基本单位，在使用云日志服务时，您首先需要创建一个日志组，然后在日志组中创建日志流。 登录云日志服务控制台。 在“日志管理”页面，单击“创建日志组”，参考表1填写日志组相关信息。 图2 创建日志组 表1 参数说明 参数 说明 示例 日志组名称 日志组名称只支持输入英文、数字、中文、中划线、下划线及小数点，且不能以小数点、下划线开头或以小数点结尾。长度为1-64个字符。 日志采集后，将发送到对应的日志组中的日志流，如果日志较多，需要分门别类，建议您给日志组做好命名，方便后续快速查找日志。 lts-group-ECS 企业项目 选择业务需要的企业项目，默认为default。 default 日志存储时间(天) 日志组的存储时间，即日志上报到LTS后日志存储的时间。 日志数据默认存储30天，可以在1~365天之间设置。 云日志服务LTS根据配置的日志存储时间定时清理日志内容，例如日志存储时间为30天，上报到LTS的日志只保存30天，30天后开始删除日志内容。 30 标签 按照业务需求对不同的日志组添加对应的标签。本示例可不设置。 - 备注 自定义填写备注信息，字符长度0-1024个字符。本示例可不填写。 - 单击“确定”，日志组创建成功，即可在日志组列表下方生成一条日志组信息。 单击目标日志组名称对应的。 单击“创建日志流”，在“创建日志流”页面中，参考表2填写日志流相关信息。 图3 创建日志流 表2 参数说明 参数 说明 示例 日志组名称 默认显示目标日志组名称。 - 日志流名称 日志流名称只支持输入英文、数字、中文、中划线、下划线及小数点，且不能以小数点、下划线开头或以小数点结尾。长度为1-64个字符。 日志采集后，以日志流为单位，将多条日志数据发往云日志服务。如果日志较多，需要分门别类，建议您创建多个日志流，并给日志流做好命名，方便后续快速查找日志。 lts-topic-ECS 企业项目 选择业务需要的企业项目，默认为default。 default 日志存储 开启日志存储：日志将会被存入搜索引擎，能使用日志全量功能。 需要开启日志存储，才能开启日志存储时间。 开启 日志存储时间(天) 日志流的存储时间，即日志上报到LTS后日志存储的时间。 日志数据默认存储30天，可以在1~365天之间设置。 打开日志流的“日志存储时间”开关：日志的存储时间使用日志流设置的日志存储时间。 云日志服务LTS根据配置的日志存储时间定时清理日志内容，例如日志存储时间为30天，上报到LTS的日志只保存30天，30天后开始删除日志内容。 30 标签 按照业务需求对不同的日志组添加对应的标签。本示例可不添加。 - 匿名写入 匿名写入默认关闭，本示例默认关闭。 匿名写入适用于安卓/IOS/小程序/浏览器端上报日志。 关闭 备注 自定义填写备注信息，字符长度0-1024个字符。本示例可不填写。 - 单击“确定”。 日志流创建成功，即可在目标日志组下方生成一条日志流信息。