检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL提供最值函数,对字段进行最值求解,具体请参见表1 最值函数对零个或多个字段进行操作,并返回单个值。 在最值函数的使用中请注意以下几点: 如果没有设置字段,则返回空值。字段必须能够转换为常见的数据类型。 如果所有字段都为空值,则返回空值。如果只有部分字段为空值,这些字段会被忽略。 如
在下拉框选择日志搜索的字段和条件,搜索框则会展示对应字段的值。根据业务需要,用户可以自定义设置搜索方式,添加关联关系或添加组进行搜索。 下拉框显示的字段为索引配置字段、结构化字段、内置保留字段。 且(AND)表示在多个条件中需要同时满足所有条件才能成立。 或(OR)表示在多个条件中只需满足其中一个条件即可。
SQL提供字符串函数,用于对字符类型的数据执行拼接、大小写转换等操作,具体请参见表1。 SQL语法中,字符必须被单引号('')包裹,无符号或双引号("")包裹的为字段或表名称,如:'msg'表示字符串msg,msg或"msg"表示日志结构化msg字段。 语法格式 SELECT (fieldname1 ||
云日志服务(LTS)支持采集计算、存储、安全、数据库等多种华为云服务的日志数据,您可以使用LTS对云服务日志进行关键词搜索、运营数据统计分析、运行状况监控告警等多种操作。当前LTS支持采集的云服务日志如下表所示: 表1 云服务接入 序号 云服务简称 云服务名称 日志类型 文档链接 仪表盘 1 AOM 应用运维管理
在结构化字段和表字段的下拉框,选择您需要转储的字段。 单击操作列下的,删除不需要转储的字段。 单击,添加您需要转储的字段。 表普通列映射和表分区列映射添加表字段的总数为创建表的总列数。 - 表分区列映射 存储时根据设置的字段值进行分区。将内置字段以及日志中配置的结构化字段和类型,映射到数据库表字段。
填写“图表名称”,开启“同时添加到仪表盘”,单击“确定”,可视化图表保存成功;当选中某个可视化图表时,单击“保存”,可对该图表进行修改。 单击“另存为”,在弹出的“另存为可视化图表”中,根据业务需求填写“图表名称”,开启“同时添加到仪表盘”,单击“确定”,对已有可视化图表进行复制。
e_match 判断当前日志字段的值是否满足正则表达式。支持和其他函数组合使用。 e_match_any 判断当前日志字段的值是否满足正则表达式,任意字段匹配返回true,否则返回false。 e_match_all 判断当前日志字段的值是否满足正则表达式,所有字段匹配返回true,否则返回false。
配置字段索引后,您可以指定字段名称和字段值(Key:Value)进行查询。根据字段索引中设置的数据类型,您可以进行多种类型的基础查询和组合查询。 time>60 and region:r*表示查询time字段值大于60且region字段值以r开头的日志。 精确查询 使用完整的词进行查询
会返回默认值0。 SQL语法中,字符必须被单引号('')包裹,无符号或双引号("")包裹的为字段或表名称,如:'msg'表示字符串msg,msg或"msg"表示日志结构化msg字段。 表1 SQL查询支持的数据类型 原生数据类型 默认值 说明 STRING "" 原生STRING类型
解析URL中查询字符串包含的参数。 User-Agent解析函数会剔除解析结果为None的字段,例如解析的设备数据为{'brand': None, 'family': 'Other', 'model': None},则brand字段和model字段将被剔除,最终的解析结果为{'family': 'Other'}。
获取Results字段中EndTime字段的值。 字段样例 Results:[{"EndTime":1626314520},{"FireResult":2}] 查询和分析语句 SELECT json_extract(Results, '$.[0].EndTime') 查询和分析结果 表2 查询和分析结果
String、JSON 是 传入待提取字段的JSON表达式或字段。 jmes String 是 JMES表达式,表示提取的字段。 default String 否 如果提取字段不存在,则返回此处设置的值。默认为None,表示不返回字段。 restrict Bool 否 提取字段的值不是合法的JSON格式时,是否严格限制加工。
string类型的字段不支持使用运算符(>=<)或 in 语法进行范围查询,建议使用星号(*)或问号(?)进行模糊查询。需要重新配置结构化,将该字段修改为数字类型。 表1 系统模板 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 ELB模板 根据ELB资料中提供的日志字段被定义。
string类型的字段不支持使用运算符(>=<)或 in 语法进行范围查询,建议使用星号(*)或问号(?)进行模糊查询。需要重新配置结构化,将该字段修改为数字类型。 表1 系统模板 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 ELB模板 根据ELB资料中提供的日志字段被定义。
在索引配置页面的字段索引下方,单击“添加字段”,配置字段索引。具体的参数配置请参考表5 自定义字段索引配置参数。 字段索引的参数配置仅对该字段生效。 当添加的字段在日志内容中不存在时,则配置的该索引字段无效。 更多内置字段请参考内置保留字段。 自动配置字段索引:单击“自动配置”,云日志服务会根据采集时预览数据
在索引配置页面的字段索引下方,单击“添加字段”,配置字段索引。具体的参数配置请参考表5 自定义字段索引配置参数。 字段索引的参数配置仅对该字段生效。 当添加的字段在日志内容中不存在时,则配置的该索引字段无效。 更多内置字段请参考内置保留字段。 自动配置字段索引:单击“自动配置”,云日志服务会根据采集时预览数据
或者配置全文索引的场景,labels字段支持搜索,但暂不收取索引流量费用,该特性在2024年7月转商用后,恢复对所有字段的索引流量收费。 例如以下日志示例内容,其中finishLog、func_urn、function为上报的labels字段。 "content": "this
ISO8601 时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求,当原始日志中存在标准 ISO8601时间格式的字段,您可以使用e_set字段操作函数,将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time": 1704983810
当目标字段不存在或者值为空时,设置目标字段。 fill-auto 当新值非空,且目标字段不存在或者值为空时,设置目标字段。 add 当目标字段不存在时,设置目标字段。 add-auto 当新值非空,且目标字段不存在时,设置目标字段。 overwrite 总是设置目标字段。 overwrite-auto
场景七:数据转化纳秒级的Unix时间戳 部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求,当原始日志中存在Unix时间格式字段,您可以使用e_set字段操作函数,将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time": 1704983810