检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在下拉框选择日志搜索的字段和条件,搜索框则会展示对应字段的值。根据业务需要,用户可以自定义设置搜索方式,添加关联关系或添加组进行搜索。 下拉框显示的字段为索引配置字段、结构化字段、内置保留字段。 且(AND)表示在多个条件中需要同时满足所有条件才能成立。 或(OR)表示在多个条件中只需满足其中一个条件即可。
SQL提供最值函数,对字段进行最值求解,具体请参见表1 最值函数对零个或多个字段进行操作,并返回单个值。 在最值函数的使用中请注意以下几点: 如果没有设置字段,则返回空值。字段必须能够转换为常见的数据类型。 如果所有字段都为空值,则返回空值。如果只有部分字段为空值,这些字段会被忽略。 如
填写“图表名称”,开启“同时添加到仪表盘”,单击“确定”,可视化图表保存成功;当选中某个可视化图表时,单击“保存”,可对该图表进行修改。 单击“另存为”,在弹出的“另存为可视化图表”中,根据业务需求填写“图表名称”,开启“同时添加到仪表盘”,单击“确定”,对已有可视化图表进行复制。
会返回默认值0。 SQL语法中,字符必须被单引号('')包裹,无符号或双引号("")包裹的为字段或表名称,如:'msg'表示字符串msg,msg或"msg"表示日志结构化msg字段。 表1 SQL查询支持的数据类型 原生数据类型 默认值 说明 STRING "" 原生STRING类型
解析URL中查询字符串包含的参数。 User-Agent解析函数会剔除解析结果为None的字段,例如解析的设备数据为{'brand': None, 'family': 'Other', 'model': None},则brand字段和model字段将被剔除,最终的解析结果为{'family': 'Other'}。
配置字段索引后,您可以指定字段名称和字段值(Key:Value)进行查询。根据字段索引中设置的数据类型,您可以进行多种类型的基础查询和组合查询。 time>60 and region:r*表示查询time字段值大于60且region字段值以r开头的日志。 精确查询 使用完整的词进行查询
SQL提供字符串函数,用于对字符类型的数据执行拼接、大小写转换等操作,具体请参见表1。 SQL语法中,字符必须被单引号('')包裹,无符号或双引号("")包裹的为字段或表名称,如:'msg'表示字符串msg,msg或"msg"表示日志结构化msg字段。 语法格式 SELECT (fieldname1 ||
e_match 判断当前日志字段的值是否满足正则表达式。支持和其他函数组合使用。 e_match_any 判断当前日志字段的值是否满足正则表达式,任意字段匹配返回true,否则返回false。 e_match_all 判断当前日志字段的值是否满足正则表达式,所有字段匹配返回true,否则返回false。
概述 字段提取检查与覆盖模式,介绍字段提取模式mode参数的不同取值以及说明。请参考DSL加工(邀测)创建加工任务。 表1 参数说明 参数值 说明 fill 当目标字段不存在或者值为空时,设置目标字段。 fill-auto 当新值非空,且目标字段不存在或者值为空时,设置目标字段。 add
获取Results字段中EndTime字段的值。 字段样例 Results:[{"EndTime":1626314520},{"FireResult":2}] 查询和分析语句 SELECT json_extract(Results, '$.[0].EndTime') 查询和分析结果 表2 查询和分析结果
LTS结构化能力说明: 云端结构化是由LTS服务端通过不同的日志提取方式将日志流中的日志content字段进行结构化的能力。结构化之后会保留content字段,在资源统计和计费时content字段和结构化字段都会统计在内。云端结构化解析会消耗LTS服务端算力,未来会按照日志大小收取日志加工流量费用。
设置云端结构化解析日志 日志结构化概述 设置日志云端结构化解析 设置云端结构化字段和tag字段 设置云端结构化自定义日志时间 设置云端结构化模板 父主题: 日志搜索与分析(默认推荐)
String、JSON 是 传入待提取字段的JSON表达式或字段。 jmes String 是 JMES表达式,表示提取的字段。 default String 否 如果提取字段不存在,则返回此处设置的值。默认为None,表示不返回字段。 restrict Bool 否 提取字段的值不是合法的JSON格式时,是否严格限制加工。
ISO8601 时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求,当原始日志中存在标准 ISO8601时间格式的字段,您可以使用e_set字段操作函数,将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time": 1704983810
string类型的字段不支持使用运算符(>=<)或 in 语法进行范围查询,建议使用星号(*)或问号(?)进行模糊查询。需要重新配置结构化,将该字段修改为数字类型。 表1 系统模板 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 ELB模板 根据ELB资料中提供的日志字段被定义。
string类型的字段不支持使用运算符(>=<)或 in 语法进行范围查询,建议使用星号(*)或问号(?)进行模糊查询。需要重新配置结构化,将该字段修改为数字类型。 表1 系统模板 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 ELB模板 根据ELB资料中提供的日志字段被定义。
Table 是 映射关系的表格,表格某一列必须是查询字符串。 inpt String 是 表格中用于匹配搜索的字段名。 output_fields String,String List或Tuple List 是 表格中映射出的字段,可以是字符串、列表或者其名称映射元组的列表。 multi_match
场景七:数据转化纳秒级的Unix时间戳 部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求,当原始日志中存在Unix时间格式字段,您可以使用e_set字段操作函数,将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time": 1704983810
users WHERE id = 1 表2 查询日志字段说明 字段 说明 190109 14:23:00 日志条目的时间戳,采用YYMMDD HH:MM:SS格式。 3 线程ID,表示这个操作是由线程ID为3的客户端连接执行的。 Connect 操作类型,这里表示一个客户端连接。 root@localhost
查询日志时报错提示:XXX字段未配置字段索引,不支持查询该字段 可能原因:用户没有配置字段索引。 解决方法:请您在索引配置中创建XXX字段的字段索引,重新执行查询语句。详细请参考配置索引。 查询日志时报错提示:未开启全文索引,不支持查询content字段和全文查询 可能原因:用户没有开启全文索引。