云日志服务 LTS-设置LTS日志索引配置:配置全文索引

时间:2024-09-25 10:57:02

配置全文索引

  1. 登录 云日志 服务控制台,进入“日志管理”页面。
  2. 单击目标日志组和日志流名称。
  3. 在日志流详情页面,单击右上角,在弹出页面中,选择“索引配置”,进入索引配置页面。
  4. 在索引配置页面中,默认开启“全文索引”按钮,参考表3 自定义全文索引配置参数配置各参数信息。

    • 在索引配置页面选择自动配置时,默认获取最近15分钟的原始日志和内置字段的交集,LTS自动将原始日志和内置字段的交集、当前结构化字段、tag字段一起组成字段索引下方的表格数据。
    • 若15分钟内没有原始日志,则获取hostIP、hostName、pathFile、结构化字段、tag字段结合共同组成字段索引下方的表格数据。
    • E CS 接入选择结构化配置时,进入索引配置页面,则会自动加上如下字段:category、 hostName、hostId、 hostIP、 hostIPv6、 pathFile,添加字段时,若某个字段已存在于索引配置,则不会重复添加。
    • CCE接入选择结构化配置时,进入索引配置页面,则会自动加上如下字段:category、 clusterId、 clusterName、 nameSpace、 podName、 containerName、 appName、 hostName、 hostId、 hostIP、 hostIPv6、 pathFile,添加字段时,若某个字段已存在于索引配置,则不会重复添加。

    表2 自定义全文索引配置参数

    参数

    说明

    全文索引

    打开全文索引开关,表示创建全文索引。

    大小写敏感

    查询时是否区分英文字母的大小写。

    • 打开大小写敏感开关,则查询时区分大小写。例如示例日志含有Know,那么您只能使用Know才能查询到该日志。
    • 关闭大小写敏感开关,则查询时不区分大小写。例如示例日志含有Know,那么您使用关键字KNOWknow都能查到该日志。

    包含中文

    查询时是否区分中英文。

    • 打开包含中文开关后,如果日志中包含中文,默认按照一元分词法拆分中文内容,按照分词符的设置拆分英文内容。
      说明:
      • 一元分词是指将中文字符串拆分为单个独立的中文字。
      • 使用一元分词符的优点是对海量日志分词效率高,其他中文分词方法对写入速度影响大。
      • 打开包含中文功能,会对中文使用一元分词(每个汉字单独分词),如果需要更精确的搜索结果,请用短语搜索,语法为:#"待搜索的短语"。
    • 关闭包含中文开关后,按照分词符的设置拆分所有内容。

    例如示例日志内容为:

    error,400,I Know 今天是星期一

    • 关闭包含中文开关后,按照分词符的设置拆分英文内容,日志会被拆分为error400IKnow今天是星期一,您可以通过error今天是星期一查找该日志。
    • 打开包含中文开关后,日志服务后台分词器将日志拆分为error400IKnow,您通过error今天等词都可以查找到该日志。

    分词符

    根据指定分词符,将日志内容拆分成多个词。当默认设置不能满足您的需求时,您可以自定义设置分词符。所有的ASCII码包括中文都可被定义为分词符。

    如果设置分词符为空,则字段值将被当成一个整体,您只能通过完整字符串或模糊查询查找对应的日志。

    单击“预览”,查看分词预览效果。

    例如示例日志内容为:

    error,400,I Know 今天是星期一

    • 如果不设置任何分词符,整条日志被作为一个词error,400,I Know 今天是星期一,您只能通过完整字符串error,400,I Know 今天是星期一或模糊查询error,400,I K*查找该日志。
    • 如果设置分词符为逗号(,),则原始日志被拆分为error400I Know 今天是星期一3个词,您通过任意一个词或词的模糊查询都可以找到该日志,例如error400I Kn*今天是*
    • 如果设置分词符为逗号(,)和空格,则原始日志被拆分为error400IKnow今天是星期一5个词,您通过任意一个词或词的模糊查询都可以找到该日志,例如Know今天是*

    特殊分词符

    单击“添加特殊分词符”,参考ASCII码对照表输入ASCII值

  5. 完成后,单击“确定”。
support.huaweicloud.com/usermanual-lts/lts_05_0008.html