检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
转换函数 本文主要介绍操作符函数的语法规则,包括参数说明、函数示例等。 函数列表 表1 转换函数列表 类型 函数名称 功能描述 基础类型转换 ct_int 将字段或表达式的值转换为整数。 ct_float 将字段或表达式的值转换为浮点数。 ct_str 将字段或表达式的值转换为字符串。
类型转换函数 本文介绍类型转换函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 类型转换函数 函数 描述 cast函数 将值从一种数据类型转换为另一种数据类型,并将数据类型提供给动态参数。 cast函数 将值从一种数据类型转换为另一种数据类型,并将数据类型提供给动态参数。
数据类型转换和转换函数 日期时间字符串、日期时间对象和Unix时间戳的相互转换方式和对应转换函数如下图所示。 上图所示的转换场景和对应的转换函数具体描述如下表所示。 转换场景 转换函数 日期时间对象和Unix时间戳的相互转换 日期时间对象转为Unix时间戳。 dt_parseti
使用时间函数将日志时间字段转换为指定格式 在日志搜索分析中往往需要对日志中的时间字段进行处理,例如将日志的时间戳转换成指定格式等,本文介绍时间字段的常用转换示例。 本示例属于白名单功能,支持华北-北京四、华东-上海一、华南-广州、亚太-新加坡、拉美-墨西哥城二区域的白名单用户使用
场景四:转换日志参数类型(v函数、cn_int函数和dt_totimestamp函数) 场景1:调用op_add函数进行字符拼接和数据相加。 op_add函数既可以接收字符串类型,也可以接受数值类型,因此不需要做参数类型转换。 示例如下所示: 原始日志 { "a":"1"
日期时间对象和Unix时间戳的相互转换 处理函数 推荐dt_parse函数将Unix时间戳转换为日期时间字符串。 e_set函数中的tz参数设置会将不带时区的日期时间对象处理为带时区的,或将原时区的转换为目标时区。 Unix时间戳转换成带时区的时间字符串对象。 原始日志 {
日期时间字符串和Unix时间戳的相互转换 处理函数 dt_str智能转换函数,可以将Unix时间戳、日期时间对象和日期时间字符串转化为指定格式的日期时间字符串。 dt_strftimestamp函数只支持将Unix时间戳转化为日期时间字符串。 dt_parsetimestamp智能转换函数,可以将日期
日期时间对象和日期时间字符串的相互转换 处理函数 dt_parse智能转换函数可以将日期时间字符串或Unix时间戳转换为日期时间对象。 dt_astimezone函数返回一个带新时区信息的日期时间对象。 场景1:不带时区信息的日期时间字符串转换成指定时区的日期时间对象。 对于不带
str_format(format, str1, str2, ...) 参数说明 参数名称 参数类型 是否必填 说明 format string 是 转换后的格式 str1 任意 是 待格式化的值1 str2 任意 是 待格式化的值2 返回结果 格式化后的字符串。 函数示例 测试数据:无 加工规则
们组合起来提供了业界最常用的日志分析和可视化工具。 Elasticsearch是一个基于Lucene的开源、分布式、RESTful搜索和分析引擎。 Logstash是一个开源的、服务器端的数据处理管道,能够同时从多个来源实时接收、转换并将数据发送到用户选择的“存储库”。通常用于日志的收集、过滤和转发。
SQL字符串函数 功能描述 SQL提供字符串函数,用于对字符类型的数据执行拼接、大小写转换等操作,具体请参见表1。 SQL语法中,字符必须被单引号('')包裹,无符号或双引号("")包裹的为字段或表名称,如:'msg'表示字符串msg,msg或"msg"表示日志结构化msg字段。
示例 CAST(value AS TYPE) 转换数据类型。只支持转换为VARCHAR、 FLOAT。 SELECT fieldname1, CAST(fieldname1 AS VARCHAR) CASE WHEN boolean_expr1 THEN result1 \[ WHEN
无法查看上报到LTS的日志怎么办? 问题描述 在云日志服务LTS控制台无法查看上报到LTS的日志。 可能原因 未安装ICAgent日志采集工具。 采集路径配置错误。 LTS控制台上的“配置中心 > ICAgent采集开关”未开启。 “超额继续采集日志”开关未开启。 当前账号欠费,故采集器停止采集。
日志搜索与分析是运维中不可或缺的一环。日志接入成功后,云日志服务(LTS)支持对采集成功的日志数据进行搜索与分析。通过合理的日志收集、高效的搜索方法和专业的分析工具,可以实现对系统或应用的全面监控和精细化管理。 执行搜索与分析前,需要将上报的日志进行结构化配置和索引配置,因为结构化后数据具有严格的长度
LTS日志使用冷存储保存后遇到问题怎么办? 问题:标准存储日志如何转换成冷存储? 答:当日志保存时间大于标准存储层数据保存时间,且小于日志存储时间时,数据将自动转换为智能冷存储层数据存储。 例如:日志存储时间是30天,标准存储层数据保存时间是10天,假设第一天开始有日志上报,那么
的一致性。 函数列表 类型 函数 说明 通用日期时间转换 dt_parse 将值或时间表达式的值转换为日期时间对象。 dt_str 将值或时间表达式的值转换为字符串。 dt_parsetimestamp 将值或时间表达式的值转换为Unix时间戳。 dt_prop 获取值或时间表达
具体请参考表1。 在数学运算中,如果表达式里涉及的操作数皆为整数,那么SQL将会采用整数运算,否则便会切换到浮点运算。您可以将其中一个操作数转换为FLOAT类型来强制进行切换,运行时SQL会将大多数表达式中的32位浮点数扩展到64位。 语法格式 SELECT ABS(fieldname1)
云日志服务可以帮助您快捷地完成数据采集、消费、投递以及查询分析,提升运维和运营效率,建立海量日志处理能力。 LTS-Flink-Connector工具支持以下表1。 表1 功能说明 功能 说明 支持类型 源表和结果表 运行模式 仅支持流模式 API种类 SQL 是否支持更新或删除结果表数据
ctor工具用于对接flink,包括消费者(Consumer)和生产者(Producer)两部分。 消费者用于从云日志服务中读取数据,支持exactly once语义,支持shard负载均衡,生产者用于将数据写入云日志服务,使用LTS-Flink-Connector工具时,需要在项目中添加maven依赖:
SQL归约函数 功能描述 归约函数对零个或多个表达式进行操作,并返回单个表达式。如果没有表达式作为参数传递,则结果为 NULL。表达式必须全部转换为公共数据类型,即结果的类型有: 如果所有的参数都是 NULL,结果是 NULL,否则,NULL 参数被忽略。 如果所有的参数包含了数字和字符串的混合,参数都被解释为字符串。