检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用时间函数将日志时间字段转换为指定格式 在日志搜索分析中往往需要对日志中的时间字段进行处理,例如将日志的时间戳转换成指定格式等,本文介绍时间字段的常用转换示例。 本示例属于白名单功能,支持华北-北京四、华东-上海一、华南-广州、亚太-新加坡、拉美-墨西哥城二区域的白名单用户使用
“/LogTanks/RegionName”为系统默认路径,不可以修改。 新增%GroupName代表日志组名称,%StreamName代表日志流名称。 名称只能由英文字母、数字及特殊字符“&”“$”“@”“;”“:”“,”“=”“+”“?”“-”“.”“_”“/”和“%”组成,且“%”后只可跟Y(年)、m
函数示例 示例1:将字符串转换成整型。 测试数据 { "number": 2 } 加工规则 e_set("int_number", ct_int(v("number"))) 加工结果 number: 2 int_number: 2 示例2:将十六进制转换成十进制。 测试数据 {
ix时间戳转换为日期时间对象。 dt_astimezone函数返回一个带新时区信息的日期时间对象。 场景1:不带时区信息的日期时间字符串转换成指定时区的日期时间对象。 对于不带时区信息的日期时间字符串2019-06-02 18:41:26,可以通过Unix时间戳,实现不同时区下的
为日期时间字符串。 e_set函数中的tz参数设置会将不带时区的日期时间对象处理为带时区的,或将原时区的转换为目标时区。 Unix时间戳转换成带时区的时间字符串对象。 原始日志 { "time": 1562741899 } 加工规则 e_set("new_time", dt_parse(v("time")
jmes="max(words[*].score)",output="hot_word") 当特定路径不存在或为空时,返回一个空字符串:e_json(..., jmes="max(words[*].score)",output="hot_word", jmes_ignore_none=false) p
"Los_Angeles_timestamp": 1562795899, "UTC_timestamp": 1562770699 } 子场景2:自定义的不带时区的特殊日期格式转换成Unix时间戳。 原始日志 { "time1" : "2019-07-10 06:58:19", "time2": "2019/07/10
AI开发平台ModelArts接入LTS 支持AI开发平台ModelArts日志接入LTS。 具体接入方法请参见部署模型为在线服务。 父主题: 使用云服务接入LTS
LTS日志使用冷存储保存后遇到问题怎么办? 问题:标准存储日志如何转换成冷存储? 答:当日志保存时间大于标准存储层数据保存时间,且小于日志存储时间时,数据将自动转换为智能冷存储层数据存储。 例如:日志存储时间是30天,标准存储层数据保存时间是10天,假设第一天开始有日志上报,那么
replace函数 将字符串中的匹配字符串替换成指定的字符串,如果未指定替换字符串,则将匹配的字符串从原来的字符串中删除。 reverse函数 将字符串转换成反向顺序的字符串。 repeat函数 将字符串重复指定次数。 contains_string函数 判断字符串是否包含指定字符串。 icontains_string函数
返回提取后的字符串。 函数示例 示例1:对word字段从起点开始进行截取,结尾为2。 测试数据 { "word": "I,love,this,world" } 加工规则 e_set("op_slice",op_slice(v("word"),2)) 加工结果 word: I,love,this
的元素参考如下: 标题 # 一级标题 ## 二级标题 ### 三级标题 #### 四级标题 ##### 五级标题 ###### 六级标题 文字加粗 **告警** 链接 [查询url](http://example.com) 字体颜色 <font color="#FF0000">$
者Netmask格式输出 ip_overlaps 判断两个网段是否存在重叠 ip2long 将字符串格式的IP地址转换成长整型数据 long2ip 将长整型数据转换成字符串格式的IP地址 geo_parse 根据IP地址解析出所属国家、省份和城市等信息。 函数格式 geo_parse(ip
String 日志组ID 最小长度:36 最大长度:36 stream_id 是 String 日志流ID 最小长度:36 最大长度:36 key_word 是 String 关键词指相邻两个分词符之间的单词。 is_iterative 否 Boolean 日志迭代查询,默认为false(不开启迭代),true为开启迭代。
表1 JOIN方式 说明 LEFT JOIN 以左表(t1)的结果为基础,关联右表(t2)数据。 当表名为纯数字时,需要给表名加上双引号转换成字符串。例如:表名是123,JOIN语句中该表应写成“123”。 RIGHT JOIN 以右表(t2)的结果为基础,关联左表(t1)数据。
查询时是否区分中英文。 打开包含中文开关后,如果日志中包含中文,默认按照一元分词法拆分中文内容,按照分词符的设置拆分英文内容。 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高,其他中文分词方法对写入速度影响大。 打开包含中文功能,会对中文使用一元分词(每
查询时是否区分中英文。 打开包含中文开关后,如果日志中包含中文,默认按照一元分词法拆分中文内容,按照分词符的设置拆分英文内容。 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高,其他中文分词方法对写入速度影响大。 打开包含中文功能,会对中文使用一元分词(每
日志转储至DWS 数据仓库服务GaussDB(DWS) 是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。转储至数据仓库服务GaussDB(DWS) ,可以将日志中的结构化字段转储到DWS数据库表中,您可以根据业务场景选择是否使用DWS进行日志转储。
String 否 格式化字符串。 tz String 否 表示时区。 返回结果 返回转换后的时间字符串。 函数示例 示例1:把time字段的值转换成fmt形式,时区东京。 测试数据 { "time": "2019-06-03 02:41:26", "fmt": "%Y/%m/%d %H-%M-%S"
测用户使用,其他局点暂不支持。 背景信息 用户对采集到LTS的日志流有二次加工的诉求,目前使用函数加工有以下缺点: 用户有多条日志流需要转换成不同的日志流结构,一个函数只能转换一个日志流,使用不方便,有新增日志结构的时候就需要新增函数,功能繁琐,使用不够灵活。 函数加工需要使用函