检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
组合解析,单个日志流的多个采集配置支持不同结构化解析规则,并且可以选择是否上传原始日志,不上传原始日志在资源统计和计费时则不会统计content字段,推荐使用ICAgent结构化解析,更多内容请参考ICAgent结构化解析规则说明。 示例说明:(以下示例仅供参考,请以实际日志为准)
in插件和填写对应的sql语句。 在右上角选择对应时间,并单击 按钮,可刷新请求最新的数据并展示。 LTS-Grafana插件相关参数配置规则如下: 表格类型数据,需要将x-column参数的值给为"table"。 单值类型数据,例如数字图,需要将x-column参数值给成"single"。
时区的转换为目标时区。 Unix时间戳转换成带时区的时间字符串对象。 原始日志 { "time": 1562741899 } 加工规则 e_set("new_time", dt_parse(v("time"), tz="Asia/Shanghai")) 加工结果 { "new_time":
中间件-Kafka日志 中间件-Nginx日志 中间件-ElasticSearch日志 中间件-Zookeeper日志 中间件-IIS日志 服务器-DNS日志 中间件-Flink日志 父主题: 日志接入
消费者,分配规则如下: 在消费过程中,一个Shard只会分配给一个消费者 在消费过程中,一个消费者可以消费多个Shard 当消费组新增/减少消费者,或者日志流的Shard数量增加时,这个时候消费组的Shard会重新分配给当前的消费者,以实现消费者的负载均衡。分配规则不变如上。 创建消费组
1704983810, "topic": "test", "log_time_nano":"1705043680630940602" } 加工规则 e_set( "time", op_div_floor(ct_int(v("log_time_nano")), 1000000000)
字典构建 不同字典构建方式对比参考如下: 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。 如果内容较多,规则会相对冗长。且静态不灵活。 从任务配置资源构建 内容较多且经常修改时推荐使用,易于维护。 不易于扩展和跨任务复用,不支持自动刷新。 从表格构建
使用KAFKA协议上报日志到LTS Flume 使用KAFKA协议上报日志到LTS Beats 使用KAFKA协议上报日志到LTS 云日志服务云产品 ECS、CCE等华为云产品日志 使用云服务接入LTS 父主题: 日志接入
"topic": "test", "log_time":"2024-01-11 23:10:43.992847200" } 加工规则 e_set( "time", dt_parsetimestamp(v("log_time"), tz="Asia/Shanghai")
单击“下载”,可下载当前SQL查询结果的可视化数据,该文件为.csv。 单击按钮添加告警,在弹出的“新建告警规则”中,为选中的可视化图表配置创建SQL告警规则。 须先保存一个图表后,才能新建告警规则。 单击“展开图表”,可对当前日志流下的可视化图表展开;单击“收起图表”,可收起当前日志流下展开的可视化图表。
使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。 Kafka日志示例以及字段含义 由于Kafka本身并不直接提供系统日志的详细格式或字
order by \"time\" ICAgent整体状态图表所关联的查询分析语句如下所示: select host_name as "主机名",ip as "IP" , version as "版本号" , os as "操作系统" , time_format(MILLIS_T
期时间相关的计算,例如如下示例。 原始日志 { "time1": 1562741899, "time2": 1562731122 } 加工规则 e_set("time_diff", op_sub(v("time1"), v("time2"))) 加工结果 { time1: 1562741899
新建日志流的ICAgent结构化解析和云端结构化解析资源统计及计费的区别: ICAgent结构化解析支持插件组合解析,单个日志流的多个采集配置支持不同结构化解析规则,并且可以选择是否上传原始日志,不上传原始日志在资源统计和计费时则不会统计content字段,推荐使用ICAgent结构化解析。 云端结构
云日志服务支持通过创建DSL加工任务,将用户源日志流数据进行加工输出到目标日志流中,主要操作流程如下: 通过协同消费组对源日志流的数据进行读取。 通过加工规则对读取到的每一条数据进行加工处理。 将加工后的数据写入目标日志流。数据加工完成后,您可以在目标日志流中查看加工后的数据。 功能特性 云日志
日志告警限制 本文介绍云日志服务告警的限制。 表1 告警限制说明 类别 限制项 说明 备注 告警监控 告警规则数量 您在1个华为账号下最多可创建200个告警。 如您有更大的使用需求,请提交工单申请。 搜索和分析条件组合个数 关键词搜索为1个,SQL分析个数为1-3个。 不涉及。 查询时间范围
结构化解析日志和设置LTS日志索引配置。 交互式搜索分析适用于生成简单的分析语句,操作简单,通过在界面上设置搜索条件和指定日志查询时的过滤规则,从而筛选日志中满足条件的记录。如果您需要使用更多的函数或者嵌套查询,请手动输入SQL语句。详细请参考SQL函数。 单击搜索框前面的“交互
如果投递过程中,在DWS表中添加非必须的新列,则不影响转储; 如果投递过程中,在DWS表中添加必须的新列,则会导致数据写入失败; 如果投递过程中,在DWS表中删除已配置转储规则的列,则会导致数据写入失败。 不涉及。 数据列不合法 常见场景类型为不匹配或者类型转换失败。该批次数据不会写入DWS,其余批次正常写入DWS。
计费概述 通过阅读本文,您可以快速了解云日志服务LTS的计费模式、计费项、续费、欠费等主要计费信息。 如果已知资源使用情况,需了解价格预算和计费方式选择,可前往价格计算器预算价格。 计费模式 云日志服务提供按需计费模式,按需计费是一种后付费模式,即先使用再付费,按照云服务实际使用
tag_fields Array of TagFieldNew objects Tag字段数组 rule TemplateRule object 结构化规则对象 demo_label String 示例日志标签 create_time Long 创建时间 id String 模板id 表6 DemoField