检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在进行结构化配置字段提取之后,可对结构化字段进行设置,详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析(自动生成) 用户自定义。 名称必须以字母开始,且仅包含字母和数字。 是 是 正则分析(手动输入) 支持在输入正则表达式时进行命名。 支持使用系统默
SQL提供的函数,还支持一些转换类型和CASE WHEN等逻辑运算,具体请参见表1。 语法格式 SELECT CAST(fieldname1 AS VARCHAR) AS fieldname1_str 其他函数语句 表1 其他函数语句 关键字 说明 示例 CAST(value AS TYPE)
Nginx访问日志记录了用户访问的详细信息,解析Nginx访问日志对业务运维具有重要意义。本文介绍如何使用正则表达式函数解析Nginx访问日志。 现以一条Nginx成功访问日志为例,介绍如何使用正则表达式解析Nginx成功访问日志。 原始日志 {"source":"192.168.0.1", "client_ip":"192
数示例等。 函数列表 表1 类型转换函数 函数 描述 cast函数 将值从一种数据类型转换为另一种数据类型,并将数据类型提供给动态参数。 cast函数 将值从一种数据类型转换为另一种数据类型,并将数据类型提供给动态参数。 在允许表达式的任何地方都允许使用铸造表达式。 语法:CAST(Expression
、方便快捷的方式进行查询,并且可以长期存储。 适用计费项 按照用户实际使用的日志读写流量、日志索引流量、日志存储量、日志转储计费。 表1 计费组成表 计费项 计费说明 日志读写流量 日志的传输流量。 日志索引流量 日志搜索依赖索引,系统默认开启全文索引。 日志存储量 分为标准存储和冷存储。请参考管理日志流开启冷存储。
本文介绍操作符函数的语法规则,包括参数解释、函数示例等。 函数列表 如果值为负数,请使用op_neg(positive value)函数,例如:您要表示-1,请使用op_neg(1)。 表1 操作符函数列表 类型 函数 说明 条件判断函数 op_if 根据判断条件返回不同表达式的值。 op_ifnull 返回第一个值不为None的表达式的值。
me,从 timestamp类型的日期和时间表达式的形式转换为指定格式。 * | select date_format(from_unixtime(__time,'+08:00'),'%Y-%m-%d %H:%i:%s') 将日志中的时间转换成指定格式 把日志中的时间字段从字符转化成指定格式。
自建中间件 中间件-MySQL日志 中间件-Redis日志 中间件-Kafka日志 中间件-Nginx日志 中间件-ElasticSearch日志 中间件-Zookeeper日志 中间件-IIS日志 服务器-DNS日志 中间件-Flink日志 父主题: 日志接入
对于已创建的主机组可以对其名称进行修改,也可以对主机组进行添加主机、移除主机或者关联接入配置,具体操作参考如下表2。 表2 操作列表 操作 具体步骤 修改主机组名称 在“主机组”页面,默认显示主机组页签。 在主机组列表中,单击待修改的主机组所在行的操作列修改按钮。 在弹出的修改主机组页面,修改主机组名称、自定义标识等信息。
发送“POST /v2/{project_id}/groups”。 在Request Header中增加“Content-Type”和“X-Auth-Token”。 在Request Body中传入参数如下: POST /v2/{project_id}/groups { "log_
根据指定的分隔符将字符串从右往左分割为三部分。 格式化 str_center 用指定字符将字符串填充到指定长度。 str_ljust 用指定字符将字符串从结尾填充至指定长度。 str_rjust 用指定字符将原字符串从开头填充至指定长度。 str_zfill 用字符0从开头将字符串填充至指定长度。
下: 表1 JOIN方式 说明 LEFT JOIN 以左表(t1)的结果为基础,关联右表(t2)数据。 当表名为纯数字时,需要给表名加上双引号转换成字符串。例如:表名是123,JOIN语句中该表应写成“123”。 RIGHT JOIN 以右表(t2)的结果为基础,关联左表(t1)数据。
SQL归约函数 功能描述 归约函数对零个或多个表达式进行操作,并返回单个表达式。如果没有表达式作为参数传递,则结果为 NULL。表达式必须全部转换为公共数据类型,即结果的类型有: 如果所有的参数都是 NULL,结果是 NULL,否则,NULL 参数被忽略。 如果所有的参数包含了数
"and"表示搜索包含and的日志,此处的and不代表运算符。 request_method:"GET" \ 转义符号,用于转义双引号(""),转义后的引号表示符号本身。 例如:日志内容为instance_id:nginx"01",您可以使用instance_id:nginx\"01\"进行查询。
级搜索,千亿日志迭代搜索。 SQL统计和可视化图表 LTS提供多种开箱即用的日志仪表盘模板,用户接入日志后即可快速分析。 将日志分析的结果使用可视化图表呈现出来,支持表格、折线图、饼图、柱状图、地图等统计图表,或将统计图表汇聚在仪表盘上统一呈现,方便运营分析。 日志监控与日志告警
300 then 1 else 0 end ) * 100.0 / COUNT(1), 6) as "2xx ratio(%)", round(sum(case when status >= 300 and status < 400 then 1 else 0 end ) * 100.0
"test_case", "id": 7892, "content": "this is a log test" }, { //日志2 "source": "192.168.0.1", "class": "produce_case", "id": 7890, "content":
问题总览 本文汇总云日志服务的常见问题。 产品咨询问题 AOM1.0、AOM2.0与LTS分别有什么关系? 如何从第三方云厂商将日志搬迁到华为云LTS? 存储在LTS的日志是否可以用于安全合规审计? 云日志服务LTS使用建议有哪些? 云日志服务LTS对比自建ELK Stack有什么优势?
聚合函数是对结构化后的日志的指定列进行的统计运算。聚合函数返回的是单个值,经常与SELECT语句和GROUP BY语句一起使用。LTS支持如下表格所示聚合函数,具体请参考表1。 在聚合函数的使用中请注意以下几点: 聚合函数可用在任何查询的SELECT子句中。您可以使用如AGG(expr) FILTER(WHERE
"tag":"", "id":7990, "content":"this is a log" } 加工规则 e_set("topic","app","tag","stu") 加工结果 {topic: app source: 192.168.0.1 tag: stu id: 7990 content: