检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
并发送到LTS 使用默认拦截器处理日志 自定义拦截器处理日志 使用外部数据源丰富日志内容并上报到LTS 前提条件 用户机器已经安装了JDK。 用户已经安装Flume,并且需要在Flume中配置文件中配置JDK路径。 使用Flume采集文本日志上报到LTS 支持使用Flume采集文
并发送到LTS 使用默认拦截器处理日志 自定义拦截器处理日志 使用外部数据源丰富日志内容并上报到LTS 前提条件 用户机器已经安装了JDK。 用户已经安装Flume,并且需要在Flume中配置文件中配置JDK路径。 使用Flume采集文本日志上报到LTS 支持使用Flume采集文
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露,降低敏感数据泄露的风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身
源字段或源字段列表 字符串或字符串列表 是 字段名或多个字段名的列表。 pair_sep String 否 用于分隔键值对的正则字符集,默认为\s。例如\s\w、abc\s等。 说明 如果您需要使用字符串对字段进行分隔,推荐您使用str_replace或regex_replace将字符串转换成
使用LTS SDK相关问题 本文介绍使用LTS SDK的常见问题和相关报错的处理方法。 端侧SDK日志接入LTS时需要注意什么? 答:请用户在使用端侧SDK日志接入LTS时,建议提前做好一键关闭日志上报、逐步提升上报流量等措施,做到及时止损,如果您的移动端日志流量非常大,请提前知会LTS技术支持为您提前预留资源。
分隔的日志。 单行-完全正则:适用任意格式的单行日志,使用正则表达式提取字段。填写正则匹配规则后,单击验证按钮,支持校验确保正则表达式的正确性。 多行-完全正则:适用任意格式的多行日志,使用正则表达式提取字段。首行正则表达式支持自动生成和手动输入,填写正则匹配规则后,单击验证按钮,支持校验确保正则表达式的正确性。
delimeter:分隔符。 part:指定要返回字段的索引值。 split_to_map split_to_map函数用于使用指定的第一个分隔符拆分字符串,然后再使用指定的第二个分隔符进行第二次拆分。 split_to_map(x, delimiter01, delimiter02)
处理函数 推荐dt_parse函数将Unix时间戳转换为日期时间字符串。 e_set函数中的tz参数设置会将不带时区的日期时间对象处理为带时区的,或将原时区的转换为目标时区。 Unix时间戳转换成带时区的时间字符串对象。 原始日志 { "time": 1562741899
最值函数对零个或多个字段进行操作,并返回单个值。 在最值函数的使用中请注意以下几点: 如果没有设置字段,则返回空值。字段必须能够转换为常见的数据类型。 如果所有字段都为空值,则返回空值。如果只有部分字段为空值,这些字段会被忽略。 如果字段中既有数字也有字符串,则函数将它们作为字符串进行比较。 如果所有字段都是整
AI开发平台ModelArts接入LTS MapReduce服务MRS接入LTS 云数据库RDS for MySQL接入LTS 云数据库RDS for PostgreSQL接入LTS 云数据库RDS for SQLServer接入LTS 应用与数据集成平台ROMA Connect接入LTS 视频直播Live接入LTS
本文介绍日期时间函数的语法规则,包括参数解释、函数示例等。 在DSL加工逻辑中,日志中的所有值都以字符串的形式存储,需要根据场景对数据类型进行转换。 日志中时间主要有以下三种数据类型,您可以根据本文提供的日期时间函数进行日期时间格式转换。 字符串,例如2022/07/03 02-41-26。 Unix时间戳,例如1559500886。
使用DSL加工函数处理日期时间 处理日期时间,将方便您对日志后续查询与可视化展示。本文档主要介绍使用函数进行日期时间数据类型转换和日期时间偏移。 概念解释 数据类型转换和转换函数 日期时间对象和Unix时间戳的相互转换 日期时间字符串和Unix时间戳的相互转换 日期时间对象和日期时间字符串的相互转换
不存在,那么e_match_all("f1", ...)结果为false。 正则 String 是 正则模式。如果需要使用纯粹字符串匹配时(非正则),可以使用函数str_regex_escape修饰正则。 full Bool 否 是否完全匹配,默认为true表示完全匹配。 返回结果
'%Y-%m-%d %H:%i:%s') 将日志中的时间转换成指定格式 把日志中的时间字段从字符转化成指定格式。 使用date_parse函数将时间字段,从字符串转化成年-月-日 时:分:秒。 使用date_format函数截取年-月-日部分。 使用group by进行分组。 日志样例: time:2017-05-17
Nginx访问日志记录了用户访问的详细信息,解析Nginx访问日志对业务运维具有重要意义。本文介绍如何使用正则表达式函数解析Nginx访问日志。 现以一条Nginx成功访问日志为例,介绍如何使用正则表达式解析Nginx成功访问日志。 原始日志 {"source":"192.168.0.1"
容器判断 op_len 计算文本字符串中的字符数,可用于字符串和其他返回元组、列表、字典的表达式。 op_in 判断字符串、元组、列表或字典中是否包含特定元素,返回true或false。 op_not_in 判断字符串、元组、列表或字典中是否不包含特定元素,返回true或false。
日期时间对象和日期时间字符串的相互转换。 日期时间对象转为日期时间字符串。 dt_str智能转换函数,可以将日期时间对象、Unix时间戳和日期时间字符串转换为指定格式的日期时间字符串。 dt_strftime专用函数,只支持将日期时间对象转换为日期时间字符串。 日期时间字符串转为日期时间对象。
SQL函数 目前此功能处于邀测中,暂不支持用户开通,邀测期间可能会偶现查询慢,持续优化中。 聚合函数 字符串函数 日期和时间函数 正则式函数 同比和环比函数 窗口函数 类型转换函数 数学计算函数 URL函数 IP地址函数 电话号码函数 数组函数 父主题: 日志搜索与分析(管道符方式-邀测)
code查询具体情况。 LTS.0112 The count of database records exceeds the maximum value of %@,will delete %@ records before inserting. 数据库达到最大日志条数限制。 将自动删除适量老日志,再插入新日志。
根据CFW资料中提供的日志字段被定义。 否 否 MYSQL错误日志 根据MYSQL资料中提供的日志字段被定义。 否 否 MYSQL慢日志 根据MYSQL资料中提供的日志字段被定义。 否 否 POSTGRESQL慢日志 根据POSTGRESQL慢日志资料中提供的日志字段被定义。 否 否 POSTGRESQL错误日志 根