检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解析CSV格式日志 本文档介绍在解析Syslog或者其他文本格式时,针对数据中以特殊字符分隔的格式如何进行解析。 解析正常形式的CSV格式日志 原始日志: { "program":"access", "severity":6, "priority":14, "facility":1
str_count(value, sub, start, end) 参数说明 参数名称 参数类型 是否必填 说明 value 任意(自动转为String) 是 被统计的原字符串。 sub 任意(自动转为String) 是 需要统计个数的字符。 start Number 否 字符串开始搜索的位置。 0(默认值):第一个字符。
转换函数 本文主要介绍操作符函数的语法规则,包括参数说明、函数示例等。 函数列表 表1 转换函数列表 类型 函数名称 功能描述 基础类型转换 ct_int 将字段或表达式的值转换为整数。 ct_float 将字段或表达式的值转换为浮点数。 ct_str 将字段或表达式的值转换为字符串。
K被删除,会导致安装的ICAgent无法正常上报数据到LTS。 选择“创建IAM委托”,不需要获取访问密钥,通过创建委托ICAgent可以自动获取AK/SK(访问密钥),安装ICAgent时不需要输入AK/SK。 请参考创建IAM委托。 终端节点用于在VPC和终端节点服务之间建立
选择“连通LTS后端方式”为“VPCEP”时: 配置VPCEP域名。请您在华为云网络工程师的协助下,在区域外云上配置VPCEP的DNS域名解析规则,将VPCEP的域名解析到指定IP。配置完成后,在“安装ICAgent”页面根据界面提示复制命令: ping {VPCEP域名} 选择一台待采集日
从剪切板中粘贴:单击“从剪切板中粘贴”,可直接自动将您剪切的日志内容复制到示例日志框中。 在“提取正则表达式”下方输入要提取日志的正则表达式,单击“验证”,在提取结果下方查看结果。 或者单击“正则表达式自动生成”,在新打开的页面根据日志样例提取字段,输入key值,单击“确定”即可自动生成正则表达式,设置完成后,单击“确定”。
存在系统推荐的集中采集的日志流。当选择日志流为采集到集中日志流时,会进行该项内容检查。 如果以上内容检查项中,有任意一项不符合要求,需单击“自动修复”按钮进行修复,否则将无法进行下一步操作。 自动修复:一键帮您完成以上内容检查项配置。 重新检查:重新检查依赖项。 步骤3:选择主机组(可选) 在主机组列表中选择一个或多个需要采集日志的主机组。
参数说明 参数名称 数据类型 是否必填 说明 value 任意(自动转为String) 是 需要被解码的值。 encoding 任意(自动转为String) 否 编码格式,默认为utf8。 支持ASCII。 errors 任意(自动转为String) 否 按照编码格式无法识别字符时的处理方式。取值包括:
类型转换函数 本文介绍类型转换函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 类型转换函数 函数 描述 cast函数 将值从一种数据类型转换为另一种数据类型,并将数据类型提供给动态参数。 cast函数 将值从一种数据类型转换为另一种数据类型,并将数据类型提供给动态参数。
较高的日志,过滤掉不相关的日志,以便对结构化后的日志按照SQL语法进行查询与分析。 日志结构化解析是一种将日志数据从非结构化或半结构化形式转换为结构化格式的过程,以便于更好地存储、查询和分析,提高日志数据的可读性、可搜索性和查询效率。 解析方式介绍 云日志服务支持两种日志结构化解
较高的日志,过滤掉不相关的日志,以便对结构化后的日志按照SQL语法进行查询与分析。 日志结构化解析是一种将日志数据从非结构化或半结构化形式转换为结构化格式的过程,以便于更好地存储、查询和分析,提高日志数据的可读性、可搜索性和查询效率。 解析方式介绍 云日志服务支持两种日志结构化解
在进行结构化配置字段提取之后,可对结构化字段进行设置,详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析(自动生成) 用户自定义。 名称必须以字母开始,且仅包含字母和数字。 是 是 正则分析(手动输入) 支持在输入正则表达式时进行命名。 支持使用系
是否必填 说明 value1 任意(自动转为String) 是 需要被合并的值。 value2 任意(自动转为String) 是 需要被合并的值。 combine_sep 任意(自动转为String) 否 合并时元素之间的合并标识,默认为# sep 任意(自动转为String) 否 合并
在“选择模板”下,选择“系统模板”,选择对应的系统模板,模板日志从对应的云服务接入,可以直接应用模板的数据模型作为示例日志。 选择模板后,“模板详情”中会自动显示对应的日志解析结果。 结构化配置时,如果使用系统模板,则系统模板中的时间为自定义日志时间。支持通过模板名称搜索模板,方便用户快速查询模板信息。
在进行结构化配置字段提取之后,可对结构化字段进行设置,详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析(自动生成) 用户自定义。 名称必须以字母开始,且仅包含字母和数字。 是 是 正则分析(手动输入) 支持在输入正则表达式时进行命名。 支持使用系
加工复杂JSON数据 本文档主要为您介绍如何使用云日志服务数据加工功能对复杂的JSON数据进行加工。 多子键为数组的复杂JSON数据加工 程序构建的日志会以一种统计性质的JSON格式写入,通常包含一个基础信息以及多个子键为数组的数据形式。例如一个服务器每隔1分钟写入一条日志,包含
在“选择模板”下,选择“系统模板”,选择对应的系统模板,模板日志从对应的云服务接入,可以直接应用模板的数据模型作为示例日志。 选择模板后,“模板详情”中会自动显示对应的日志解析结果。 结构化配置时,如果使用系统模板,则系统模板中的时间为自定义日志时间。支持通过模板名称搜索模板,方便用户快速查询模板信息。
具体请参考表1。 在数学运算中,如果表达式里涉及的操作数皆为整数,那么SQL将会采用整数运算,否则便会切换到浮点运算。您可以将其中一个操作数转换为FLOAT类型来强制进行切换,运行时SQL会将大多数表达式中的32位浮点数扩展到64位。 语法格式 SELECT ABS(fieldname1)
设置云端结构化解析日志 日志结构化概述 设置日志云端结构化解析 设置云端结构化模板 设置云端结构化字段和tag字段 设置云端结构化自定义日志时间 父主题: 日志搜索与分析(管道符方式-邀测)
判断字符串是否仅由字母和数字组成。 函数格式 str_isalnum(value) 参数说明 参数名称 参数类型 是否必填 说明 value 任意(自动转为String) 是 需要被检测的字符串。 返回结果 true/false。 函数示例 测试数据 { "value": "ltsv5"