云日志服务 LTS-设置LTS日志索引配置:配置字段索引
配置字段索引
创建字段索引时,最多支持添加500个字段。其中JSON类型字段,最多支持添加100个子字段。
- 配置全文索引后,在索引配置页面的 日志分析 下方,单击开启可视化后,配置的字段索引支持SQL可视化分析,否则无法查询到ICAgent结构化的可视化数据。
- 设置快速分析采样条数,默认值10万条,最小值为10万条,最大值1000万条。通过采样快速统计字段值取值分布,并非对全量数据进行分析,采样条数越多分析数据越慢。
- 在索引配置页面的字段索引下方,单击“添加字段”,配置字段索引。具体的参数配置请参考表5 自定义字段索引配置参数。
- 字段索引的参数配置仅对该字段生效。
- 当添加的字段在日志内容中不存在时,则配置的该索引字段无效。
- 更多内置字段请参考内置保留字段。
- 自动配置字段索引:单击“自动配置”, 云日志 服务会根据采集时预览数据中的第一条内容或常见内置保留字段(例如hostIP、hostName、pathFile)自动生成字段索引,您可以根据自己的需要增加或者删除字段。
- 批量配置字段索引:批量勾选字段,单击“批量配置”,进行批量配置字段索引。
表3 自定义字段索引配置参数 参数
说明
字段名称
日志字段名称,例如示例日志中的level。
字段名称只能包括字母、数字或下划线(_),且只能以字母或下划线(_)开头,字段名称中不能含有双下划线。
说明:- 双下划线(__)在LTS不对用户呈现的内置保留字段中使用,用户自定义日志字段名中不能使用双下划线__,否则无法配置字段索引名称。
- 日志服务默认会对部分内置保留字段开启字段索引,请参见内置保留字段。
- 若是内置字段,在字段名称后会显示“内置”字眼,方便用户识别。
执行操作
显示字段的添加状态:新增、不修改、修改、删除。索引字段有变动后,单击“修改对比”,即可查看原配置内容与修改后配置内容的差异。
- 显示新增的字段不支持修改执行操作。
- 修改类型、大小写敏感、自定义分词符、特殊分词符、包含中文、快速分析时,会与原索引配置中的字段进行对比,若任意一项不同,则执行操作变为“修改”。
- 索引配置单击确定后,不会保存执行操作为“删除”的字段。
类型
- 日志字段值(Value)的数据类型,可选值为string、long、float、json。
说明:
字段json类型只对ICAgent结构化解析生效,对云端结构化解析不生效。
- long类型和float类型不支持设置大小写敏感、包含中文和分词符。
大小写敏感
查询时是否区分英文字母的大小写。
- 打开大小写敏感开关,则查询时区分大小写。例如示例日志message字段中含有Know,那么您只能使用message:Know才能查询到该日志。
- 关闭大小写敏感开关,则查询时不区分大小写。例如示例日志message字段中含有Know,那么您使用关键字message:KNOW和message:know都能查到该日志。
自定义分词符
根据指定分词符,将日志内容拆分成多个词。当默认设置不能满足您的需求时,您可以自定义设置分词符。所有的ASCII码包括中文都可被定义为分词符。
如果设置分词符为空,则字段值将被当成一个整体,您只能通过完整字符串或模糊查询查找对应的日志。
例如示例日志message字段内容为:I Know 今天是星期一。
- 如果不设置任何分词符,整条日志被作为一个词I Know 今天是星期一,您只能通过完整字符串message:I Know 今天是星期一或模糊查询message:I Know 今天是*查找该日志。
- 如果设置分词符为空格,则原始日志被拆分为I、Know、今天是星期一3个词,您通过任意一个词或词的模糊查询都可以找到该日志,例如message:Know或message:今天是星期一。
特殊分词符
单击“添加特殊分词符”,参考ASCII码对照表输入ASCII值。
包含中文
查询时是否区分中英文。
- 打开包含中文开关后,如果日志中包含中文,默认按照一元分词法拆分中文内容,按照分词符的设置拆分英文内容。
说明:
- 一元分词是指将中文字符串拆分为单个独立的中文字。
- 使用一元分词符的优点是对海量日志分词效率高,其他中文分词方法对写入速度影响大。
- 打开包含中文功能,会对中文使用一元分词(每个汉字单独分词),如果需要更精确的搜索结果,请用短语搜索,语法为:#"待搜索的短语"。
- 关闭包含中文开关后,按照分词符的设置拆分所有内容。
例如示例日志message字段内容为:I Know 今天是星期一。
- 关闭包含中文开关后,按照分词符的设置拆分英文内容,日志会被拆分为I、Know、今天是星期一,您可以通过message:Know或message:今天是星期一查找该日志。
- 打开包含中文开关后,日志服务后台分词器将日志拆分为I、Know、今、天、是、星、期、一,您通过message:Know或message:今天等词都可以查找到该日志。
快速分析
默认为开启状态,开启后,可以对字段值做采样统计,请参见11.6.4-快速分析。
说明:- 快速分析的原理是对搜索命中的日志采样10万条进行数据统计,不是全量统计。
- 快速分析的字段长度最大为2000字节。
- 快速分析字段展示前100条数据。
操作
单击,删除添加的自定义字段。
图1 批量配置
- 完成后,单击“确定”。