检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IP解析函数 本文介绍IP解析函数的语法规则,包括参数解释、函数示例等。 函数 说明 geo_parse 根据IP地址解析出所属国家、省份和市信息 ip_cidrmatch 判断IP地址是否属于CIDR地址块 ip_version 判断IP地址为IPv4还是IPv6 ip_type
是 String kafka ID 最小长度:1 最大长度:36 kafka_name 是 String kafka 名称 最小长度:1 最大长度:256 connect_info 是 connect_info object kafka连接信息。购买kafka时,SASL_SSL是否配置,如果有,则需要填写账号密码
s的子目录中。例如,如果Kafka安装在/usr/local/kafka,则日志文件可能位于/usr/local/kafka/logs。 检查Kafka配置文件: 在${KAFKA_HOME}/bin/kafka-run-class.sh中修改Kafka的logs目录。 # Log
当前仅支持内网上报,端口固定为9095,IP根据所在局点进行配置。 支持 Kafka 协议版本为:1.0.X,2.X.X,3.X.X。 支持压缩方式:gzip,snappy,lz4。 KAFKA认证方式为 SASL_PLAINTEXT 认证。 KAFKA协议的ACKS参数必须设置为0。 配置方式
Name System,域名系统)是互联网的一项服务,它作为将域名和IP地址相互映射的一个分布式数据库,能够使人更方便地访问互联网。当用户在浏览器中输入域名时,DNS会将其解析为对应的IP地址,以便计算机能够找到正确的服务器并获取所需的信息。 DNS日志是记录域名系统相关活动的记录文
解析Nginx日志 Nginx访问日志记录了用户访问的详细信息,解析Nginx访问日志对业务运维具有重要意义。本文介绍如何使用正则表达式函数解析Nginx访问日志。 现以一条Nginx成功访问日志为例,介绍如何使用正则表达式解析Nginx成功访问日志。 原始日志 {"source":"192
解析User-Agent中的浏览器信息。 ua_parse_all 解析User-Agent中所有信息。 url_parse 解析URL的组成部分。 url_parse_qs 解析URL中查询字符串包含的参数。 User-Agent解析函数会剔除解析结果为None的字段,例如解析的设备数据为{'brand': None
解析CSV格式日志 本文档介绍在解析Syslog或者其他文本格式时,针对数据中以特殊字符分隔的格式如何进行解析。 解析正常形式的CSV格式日志 原始日志: { "program":"access", "severity":6, "priority":14, "facility":1
文本解析 解析Nginx日志 提取字符串动态键值对 解析CSV格式日志 加工复杂JSON数据 解析与更新JSON数据 父主题: 日志加工(邀测)
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一:展开和提取JSON对象 日志中包含JSON对象时,您可以通过e_json函数展开和提取对象。 示例:指定字段名精确提取JSON对象值,例如展开data字段值中的第一层键值对。 原始日志
分布式消息服务Kafka版接入LTS 支持分布式消息服务Kafka日志接入LTS。重平衡日志记录Rebalance的详情,包括Rebalance时间、原因和触发Rebalance的客户端等。重平衡日志存储在云日志服务(Log Tank Service,简称LTS)中,由LTS提供查询功能。
00的日志数据。 自定义:表示查询指定时间范围的日志数据。 字段提取。包括自动生成和手动输入两种方式,可将选择的日志提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 自动生成:当用户选择自动生成时,可以用鼠标选中示例日志中待结构化的日志内容,在弹出的对话框中为选中内容
00的日志数据。 自定义:表示查询指定时间范围的日志数据。 字段提取。包括自动生成和手动输入两种方式,可将选择的日志提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 自动生成:当用户选择自动生成时,可以用鼠标选中示例日志中待结构化的日志内容,在弹出的对话框中为选中内容
设置云端结构化解析日志 日志结构化概述 设置日志云端结构化解析 设置云端结构化字段和tag字段 设置云端结构化自定义日志时间 设置云端结构化模板 父主题: 日志搜索与分析(默认推荐)
DMS仪表盘模板 分布式消息服务Kafka版(Distributed Message Service for Kafka)是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。重平衡日志记录Rebalance的详情,包括Reb
1:0:0 login_ip: 192.0.2.6 name: user1 date: 2019-10-11 0:0:0 login_ip: 192.0.2.6 name: user2 date: 2019-10-11 0:0:0 login_ip: 192.0.2
做了严格的限制和保护机制。 日志接入前,您可以提前了解ICAgent采集的结构化解析规则,方便您快速操作。支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 支持以下日志结构化解析规则: 单行-全文日志:采集的日志文件中,如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据,则选择单行日志。
设置云端结构化解析日志 日志结构化概述 设置日志云端结构化解析 设置云端结构化模板 设置云端结构化字段和tag字段 设置云端结构化自定义日志时间 父主题: 日志搜索与分析(管道符方式-邀测)
"v3", "content": "k1:\"v1\\\"abc\", k2:\"v2\", k3: \"v3\"" } 父主题: 文本解析
情请参考表1。 在云端结构化解析页面中,日志结构化方式选择“结构化模板”。 在“选择模板”下,选择“系统模板”,选择对应的系统模板,模板日志从对应的云服务接入,可以直接应用模板的数据模型作为示例日志。 选择模板后,“模板详情”中会自动显示对应的日志解析结果。 结构化配置时,如果使