检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用时间函数将日志时间字段转换为指定格式 在日志搜索分析中往往需要对日志中的时间字段进行处理,例如将日志的时间戳转换成指定格式等,本文介绍时间字段的常用转换示例。 本示例属于白名单功能,支持华北-北京四、华东-上海一、华南-广州、亚太-新加坡、拉美-墨西哥城二区域的白名单用户使用
测用户使用,其他局点暂不支持。 背景信息 用户对采集到LTS的日志流有二次加工的诉求,目前使用函数加工有以下缺点: 用户有多条日志流需要转换成不同的日志流结构,一个函数只能转换一个日志流,使用不方便,有新增日志结构的时候就需要新增函数,功能繁琐,使用不够灵活。 函数加工需要使用函
为日期时间字符串。 e_set函数中的tz参数设置会将不带时区的日期时间对象处理为带时区的,或将原时区的转换为目标时区。 Unix时间戳转换成带时区的时间字符串对象。 原始日志 { "time": 1562741899 } 加工规则 e_set("new_time", dt_parse(v("time")
"Los_Angeles_timestamp": 1562795899, "UTC_timestamp": 1562770699 } 子场景2:自定义的不带时区的特殊日期格式转换成Unix时间戳。 原始日志 { "time1" : "2019-07-10 06:58:19", "time2": "2019/07/10
ix时间戳转换为日期时间对象。 dt_astimezone函数返回一个带新时区信息的日期时间对象。 场景1:不带时区信息的日期时间字符串转换成指定时区的日期时间对象。 对于不带时区信息的日期时间字符串2019-06-02 18:41:26,可以通过Unix时间戳,实现不同时区下的
函数示例 示例1:将字符串转换成整型。 测试数据 { "number": 2 } 加工规则 e_set("int_number", ct_int(v("number"))) 加工结果 number: 2 int_number: 2 示例2:将十六进制转换成十进制。 测试数据 {
日志转储至OBS 对象存储服务 OBS提供日志存储功能;您可以将日志转储至OBS,并在OBS控制台下载日志文件。支持将日志周期性或一次性的转储至对象存储服务(OBS)中长期保存。 创建日志转储(周期性) 创建日志转储(一次性) 前提条件 日志已接入LTS。详细请参考日志接入。 已创建OBS桶。详细请参考创建桶。
者Netmask格式输出 ip_overlaps 判断两个网段是否存在重叠 ip2long 将字符串格式的IP地址转换成长整型数据 long2ip 将长整型数据转换成字符串格式的IP地址 geo_parse 根据IP地址解析出所属国家、省份和城市等信息。 函数格式 geo_parse(ip
日志转储至DMS 分布式消息服务 DMS提供日志实时处理管道,您可以通过分布式消息服务API实时消费处理日志。 前提条件 日志已接入LTS。 已购买DMS。DMS存储独立收费,收费详情请参见:华为云定价 在注册DMS Kafka实例前,需在安全组中,开放入方向规则198.19.128
LTS日志使用冷存储保存后遇到问题怎么办? 问题:标准存储日志如何转换成冷存储? 答:当日志保存时间大于标准存储层数据保存时间,且小于日志存储时间时,数据将自动转换为智能冷存储层数据存储。 例如:日志存储时间是30天,标准存储层数据保存时间是10天,假设第一天开始有日志上报,那么
String 否 格式化字符串。 tz String 否 表示时区。 返回结果 返回转换后的时间字符串。 函数示例 示例1:把time字段的值转换成fmt形式,时区东京。 测试数据 { "time": "2019-06-03 02:41:26", "fmt": "%Y/%m/%d %H-%M-%S"
表1 JOIN方式 说明 LEFT JOIN 以左表(t1)的结果为基础,关联右表(t2)数据。 当表名为纯数字时,需要给表名加上双引号转换成字符串。例如:表名是123,JOIN语句中该表应写成“123”。 RIGHT JOIN 以右表(t2)的结果为基础,关联左表(t1)数据。
replace函数 将字符串中的匹配字符串替换成指定的字符串,如果未指定替换字符串,则将匹配的字符串从原来的字符串中删除。 reverse函数 将字符串转换成反向顺序的字符串。 repeat函数 将字符串重复指定次数。 contains_string函数 判断字符串是否包含指定字符串。 icontains_string函数
\s\w、abc\s等。 说明 如果您需要使用字符串对字段进行分隔,推荐您使用str_replace或regex_replace将字符串转换成字符作为分隔符,然后再使用e_kv_delimit函数对字段进行分隔。 kv_sep String 否 用于分隔键值对的正则字符串,默认为=,不限于单个字符。
目标字段名,也可以通过字符串表达式获得该字段名。 value 任意 是 新的字段值。非字符串都转化成字符串放入日志中,其中元组、列表、字典会转换成JSON对象的字符串。 说明 如果传递的值是None,则不会进行更新操作。 mode String 否 字段的覆盖模式。默认为overwrite。
xxx。 采集时间,指日志被采集器ICAgent采集时的时间。 例如示例中的"collectTime":"1681896081334",转换成标准时间是2023-04-19 17:21:21 __time__ 整型,Unix时间戳(毫秒) 索引设置:开启索引后,日志服务默认为ti
xxx。 采集时间,指日志被采集器ICAgent采集时的时间。 例如示例中的"collectTime":"1681896081334",转换成标准时间是2023-04-19 17:21:21 __time__ 整型,Unix时间戳(毫秒) 索引设置:开启索引后,日志服务默认为ti
ipv6:"2024:AC8:2ac::d09" request_method:GET "" 使用双引号("")包裹一个语法关键词,可以将该语法关键词转换成普通字符。例如"and"表示查询包含and的日志,此处的and不代表运算符。在字段查询中双引号("")内的所有词被当成一个整体。 request_method:"GET"
ipv6:"2024:AC8:2ac::d09" request_method:GET "" 使用双引号("")包裹一个语法关键词,可以将该语法关键词转换成普通字符,例如:"and"表示搜索包含and的日志,此处的and不代表运算符。 request_method:"GET" \ 转义符号,用
概述 本文介绍字符串函数的语法规则,包括参数解释、函数示例等。 函数列表 类型 函数 说明 多字符串操作 str_format 按照指定格式对字符串进行格式化。 str_join 通过连接符将输入的字符串连接生成一个新的字符串。 str_zip 将两个值或表达式的字符串进行并发分裂然后再合并成一个字符串。