检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ELSE sip END) != '*' ORDER BY mb_in DESC LIMIT 10 访问域名图表所关联的查询分析语句如下所示: * | SELECT http_host, count( 1 ) AS "被访问次数"
是dict类型的数据,e_table_map函数接收的是通过资源函数获取的table类型的数据。 例如:在nginx日志中,将特定的状态码转换为文本格式,可以使用普通映射函数e_dict_map。 状态码 文本 200 成功 300 跳转 400 请求错误 500 服务器错误 搜
日志搜索与分析 分页显示查询分析结果 本实践介绍查询结果和分析结果的分页方法。 日志搜索与分析 使用时间函数将日志时间字段转换为指定格式 本实践介绍时间字段的常用转换示例。 日志转储 批量修改LTS日志文件转储时区 本实践主要介绍通过Python脚本结合LTS API接口实现自定义的批量操作。
Topic进行实例注册。详情见接口注册DMSkafka实例 最小长度:36 最大长度:36 kafka_topic String DMS转储kafka topic。 创建DMS转储前,需要使用kafka ID以及kafka Topic进行实例注册。详情见接口注册DMSkafka实例
type String 否 数据输出时的数据格式。 auto(默认值):将原始值转化为JSON格式。如果转换失败则返回原始值。 JSON:将原始值转化为JSON格式。如果转换失败则返回default参数的值。 raw:返回原始值。 返回结果 根据参数配置,返回JSON格式数据或者原始值。
表1 JOIN方式 说明 LEFT JOIN 以左表(t1)的结果为基础,关联右表(t2)数据。 当表名为纯数字时,需要给表名加上双引号转换成字符串。例如:表名是123,JOIN语句中该表应写成“123”。 RIGHT JOIN 以右表(t2)的结果为基础,关联左表(t1)数据。
Administrator。 在IAM控制台创建用户,并将其加入步骤1中创建的用户组。详细操作请参考创建用户并加入用户组。 使用新创建的用户登录控制台,切换至授权区域,进入云日志服务控制台可以正常操作并使用LTS。详细操作请参考用户登录并验证权限。
已完成安装ICAgent(区域内主机)。 已配置日志采集规则。 查看LTS实时日志 如果您正在使用实时查看功能,请停留在实时查看页面,请勿切换页面。如果离开实时查看页面,实时查看功能将会停止,重新开启后上一次查看的实时日志将不会显示。 正常情况下,每隔5秒加载一次。如果这5秒内没
已完成安装ICAgent(区域内主机)。 已配置日志采集规则。 查看LTS实时日志 如果您正在使用实时查看功能,请停留在实时查看页面,请勿切换页面。如果离开实时查看页面,实时查看功能将会停止,重新开启后上一次查看的实时日志将不会显示。 正常情况下,每隔5秒加载一次。如果这5秒内没
Topic进行实例注册。详情见接口注册DMSkafka实例 最小长度:36 最大长度:36 kafka_topic String DMS转储kafka topic。 创建DMS转储前,需要使用kafka ID以及kafka Topic进行实例注册。详情见接口注册DMSkafka实例
较高的日志,过滤掉不相关的日志,以便对结构化后的日志按照SQL语法进行查询与分析。 日志结构化解析是一种将日志数据从非结构化或半结构化形式转换为结构化格式的过程,以便于更好地存储、查询和分析,提高日志数据的可读性、可搜索性和查询效率。 解析方式介绍 云日志服务支持两种日志结构化解
较高的日志,过滤掉不相关的日志,以便对结构化后的日志按照SQL语法进行查询与分析。 日志结构化解析是一种将日志数据从非结构化或半结构化形式转换为结构化格式的过程,以便于更好地存储、查询和分析,提高日志数据的可读性、可搜索性和查询效率。 解析方式介绍 云日志服务支持两种日志结构化解
返回null。 SELECT IPV4_PARSE(address) IPV4_STRINGIFY(address) 将整数address转换为以点分隔的IPv4地址字符串。如果address是有效的IPv4地址的整数,则它可以被解析。如果address不能表示为IPv4地址,则返回null。
集路径后在节点上进行路径匹配,将节点上对应的文件加入监控任务中,通过轮询和inotify感知目标日志文件的变化。 ICAgent侧发现文件变更后,读取文件的内容,分块发送到处理模块,进行单行、多行、结构化、拆分、添加标签等日志处理动作,再将处理好的任务提交到发送任务池后,上报到LTS。
"v3"} 场景五:解析值为JSON对象 您可以使用json_parse函数将字符串解析为JSON对象。 例如,data字段值为字符串,您可以将其转换为JSON对象。 原始日志 { "data": "pre{ \"k1\": \"v1\", \"k2\": \"v2\"}" } 加工规则
表结构变更 如果投递过程中,在DWS表中添加非必须的新列,则不影响转储; 如果投递过程中,在DWS表中添加必须的新列,则会导致数据写入失败; 如果投递过程中,在DWS表中删除已配置转储规则的列,则会导致数据写入失败。 不涉及。 数据列不合法 常见场景类型为不匹配或者类型转换失败。
标准存储层数据保存时间 开启智能冷存储后,需要设置标准存储层数据的保存时间。 标准存储数据至少需保存7天才能转换为智能冷存储层数据。当日志保存时间大于标准存储层数据保存时间,且小于日志存储时间时,日志数据将自动转换为智能冷存储层数据存储。 标签 按照业务需求对不同的日志流添加对应的标签,单击“添加标签
标准存储层数据保存时间 开启智能冷存储后,需要设置标准存储层数据的保存时间。 标准存储数据至少需保存7天才能转换为智能冷存储层数据。当日志保存时间大于标准存储层数据保存时间,且小于日志存储时间时,日志数据将自动转换为智能冷存储层数据存储。 标签 按照业务需求对不同的日志流添加对应的标签,单击“添加标签
在https://github.com/keedio/flume-ng-sql-source页面下载flume-ng-sql-source插件,转换为jar包并取名为flume-ng-sql-source.jar,打包前注意将pom文件中的flume-ng-core 版本与flume安
在https://github.com/keedio/flume-ng-sql-source页面下载flume-ng-sql-source插件,转换为jar包并取名为flume-ng-sql-source.jar,打包前注意将pom文件中的flume-ng-core 版本与flume安