检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HostGroupTagResBody objects 标签信息. create_time Long 创建时间 最小值:0 最大值:9999999999999 update_time Long 更新时间 最小值:0 最大值:9999999999999 表6 HostGroupTagResBody 参数 参数类型
构建字典与表格进行数据富化 字典和表格是对数据进行富化时主要使用的两种数据结构,本文档主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。 字典构建 不同字典构建方式对比参考如下: 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。 如果
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据,实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中,支持华北-北京四、华东-上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 场景一:过滤LTS日志
数中作为入参时的代称),选择日志组和日志流。 加工范围 白名单功能,数据加工的时间范围。选择“某时间开始”或“特定时间范围”可以对历史日志数据进行加工。 所有:从源日志流按收到第一条日志的时间开始数据加工任务,直到加工任务被手动停止。 某时间开始:指定数据加工任务的开始时间,从该
户自定义的键值对字段,键值对数量不超过20 键的长度限制为128,允许的字符有a-zA-Z0-9_- 值的长度限制为1024 若修改时传入此字段,将覆盖原有配置 includeLabelsLogical String 容器 Label白名单生效逻辑,可选为AND,OR,不配置时默认为OR;当存在多个容器
x时间戳。 场景1:不带时区信息的日期时间字符串类型转换为Unix时间戳。 对于不带时区信息的日期时间字符串如2019-06-02 18:41:26,将日期时间转化为Unix时间戳,需要指定该日期时间的时区,不同的时区转化得到的Unix时间戳的值不一样。 原始日志 { "time":
对于不带时区信息的日期时间字符串2019-06-02 18:41:26,可以通过Unix时间戳,实现不同时区下的日期时间的相互转换。将洛杉矶时区的日期时间转换为上海时区的日期时间。 原始日志:已知time字段的值的时间是洛杉矶时间 { "time" : "2019-06-04 2:41:26" } 加工规则
timestamp函数将字符串或日期时间转换为标准时间。 dt_totimestamp函数接收的参数类型为日期时间对象,不是字符串。因此需要调用dt_parse函数将time1的字符串值类型转化为日期时间对象类型。您也可以直接使用dt_parsetimestamp函数,它既能接收日期时间对象,也能接收字符串。
7区时区下的2019-06-02 18:41:26。 日期时间对象 实例化的日期时间,专指Datetime类型的数据。日期时间对象的主要用途是为了便于展示以及提升用户可读性。 Unix时间戳 从1970年1月1日(UTC/GMT的午夜)开始所经过的秒数。Unix时间戳的主要应用场景有:
用户自定义的键值对字段,键值对数量不超过20 键的长度限制为128,允许的字符有a-zA-Z0-9_- 值的长度限制为1024 若修改时传入此字段,将覆盖原有配置 includeLabelsLogical 否 String 容器 Label白名单生效逻辑,可选为AND,OR,不配置时默认为OR;当存在多个容器
解析CSV格式日志 本文档介绍在解析Syslog或者其他文本格式时,针对数据中以特殊字符分隔的格式如何进行解析。 解析正常形式的CSV格式日志 原始日志: { "program":"access", "severity":6, "priority":14, "facility":1
jar的程序包。在选择程序包之前需要将对应的Jar包上传至OBS桶中,并在“数据管理>程序包管理”中创建程序包,具体操作请参考创建程序包。 FlinkLtsLogConsumer FlinkLtsLogConsumer提供了订阅云日志服务中某一个日志组中单个或者多个日志流的能力,支持Exactly
HostGroupTagResBody objects 标签信息. create_time Long 创建时间 最小值:0 最大值:9999999999999 update_time Long 更新时间 最小值:0 最大值:9999999999999 表6 HostGroupTagResBody 参数 参数类型
objects 标签信息。最多支持20个标签。 create_time Long 创建时间 最小值:0 最大值:9999999999999 update_time Long 更新时间 最小值:0 最大值:9999999999999 表6 HostGroupTag 参数 参数类型 描述 key
个字段的索引,这五个字段的数据量为50GB。 日志标准存储时长30天(存储日志的时长,只存30天的日志,第31天则会删除第一天的日志),未开启智能冷存储,使用云日志服务(LTS)30天,基于此案例,具体消费情况如下表2所示。 此案例中的单价仅为示例,且计算出的费用为估算值。单价的
String 从IAM服务获取的用户Token,获取方式请参见:获取用户Token 最小长度:1000 最大长度:2000 Content-Type 是 String 该字段填为:application/json;charset=UTF-8。 缺省值:None 最小长度:30 最大长度:30
是否必选 参数类型 描述 log_stream_name 是 String 需要创建的日志流名称。 最小长度:1 最大长度:64 ttl_in_days 否 Integer 日志存储时间 最小值:1 最大值:365 tags 否 Array of tagsBody objects 标签字段信息
描述 key 否 String 标签键 value 否 String 标签值 响应参数 状态码: 201 表6 响应Body参数 参数 参数类型 描述 log_group_id String 创建的日志组的ID。 最小长度:36 最大长度:36 状态码: 400 表7 响应Body参数
日志存储时间(天)。 最小值:1 最大值:365 tags 否 Array of tagsBody objects 标签字段信息 表4 tagsBody 参数 是否必选 参数类型 描述 key 否 String 标签键 value 否 String 标签值 响应参数 状态码: 200
目标日志流EPS ID target_log_stream_ttl Integer 目标日志流ttl保存时间,单位时间(天). 最小值:1 最大值:30 状态码: 400 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:8 最大长度:36