检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"login_ip": "203.0.113.50" } ] } ] }' 示例2:从OBS中拉取文本内容。 文本内容 Test bytes 测试数据 { "content": "123" } 加工规则 e_set( "test_txt"
创建主机组 修改主机组 云主机ECS文本日志接入LTS LTS可以将主机待采集日志的路径配置到日志流中,ICAgent将按照日志采集规则采集日志,并将多条日志进行打包,以日志流为单位发往LTS,您可以在LTS控制台实时查看日志。 支持区域: 全部 云主机ECS文本日志接入LTS 云端结构化配置
管理ICAgent ICAgent安装成功后,支持升级ICAgent、卸载ICAgent、查看ICAgent状态、查看ICAgent版本说明。 升级ICAgent 为了更好的采集体验,LTS会不断更新ICAgent版本。当系统提示您有新的ICAgent版本时,您可以按照如下操作步骤进行升级。
缀为.ndjson),用于保存监控数据。 步骤二:配置ECS接入LTS 在左侧导航栏中,选择“接入 > 接入中心”,单击“云主机 ECS-文本日志”进行主机接入配置。 进入选择日志流页面。 单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组(例如lts-group-ECS)。
使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。 DNS日志示例以及字段含义 日志示例:2023-07-10 14:30:25 INFO client
用户已经安装Flume,并且需要在Flume中配置文件中配置JDK路径。 使用Flume采集文本日志上报到LTS 支持使用Flume采集文本日志内容上报至LTS,参考如下示例添加采集文本日志的conf文件。以下示例中的参数介绍请参考使用KAFKA协议上报日志。 #Named a1
用户已经安装Flume,并且需要在Flume中配置文件中配置JDK路径。 使用Flume采集文本日志上报到LTS 支持使用Flume采集文本日志内容上报至LTS,参考如下示例添加采集文本日志的conf文件。以下示例中的参数介绍请参考使用KAFKA协议上报日志。 #Named a1
日志转储至DMS 分布式消息服务 DMS提供日志实时处理管道,您可以通过分布式消息服务API实时消费处理日志。 前提条件 日志已接入LTS。 已购买DMS。DMS存储独立收费,收费详情请参见:华为云定价 在注册DMS Kafka实例前,需在安全组中,开放入方向规则198.19.128
请参考表4。 表4 批量接入设置 类型 操作 说明 基本配置 接入类型 选择ServiceStage-容器应用日志。 接入配置数量 在输入框填写接入配置数量,单击“添加接入配置”。 在接入配置下方默认已有1个接入配置,最多支持再添加99个数量,因此支持同时添加100个接入配置。
使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。 Nginx日志示例以及字段含义 介绍访问日志和错误日志的示例和字段说明。 表1 访问日志字段说明
使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。 iis日志示例以及字段含义 #Software: Information Services
安装ICAgent(区域内主机) 安装ICAgent(区域外主机) 管理ICAgent 管理LTS主机组 裸金属服务BMS文本日志接入LTS 云容器引擎CCE应用日志接入LTS 云主机ECS文本日志接入LTS ServiceStage容器应用日志接入LTS ServiceStage云主机日志接入LTS
map函数接收的是通过资源函数获取的table类型的数据。 例如:在nginx日志中,将特定的状态码转换为文本格式,可以使用普通映射函数e_dict_map。 状态码 文本 200 成功 300 跳转 400 请求错误 500 服务器错误 搜索映射函数的映射关键字是查询字符串,支
使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。 Kafka日志示例以及字段含义 由于Kafka本身并不直接提供系统日志的详细格式或字段定义
ot.<zxid>的文件,其中<zxid>是一个十六进制数,表示触发快照时提交的最后一个事务的ID。 与事务日志不同,快照日志是文本文件,可以使用文本编辑器直接查看其内容。由于快照日志包含了大量的数据,因此文件可能会非常大。 系统日志(System Logs): ZooKeepe
SQL提供了查询日志流中结构化数据的语句, 以下均将 LTS SQL 称为 SQL。 SQL语言由用于处理数据库和数据库对象的命令和函数组成。使用该语言时需遵循有关表达式和文本使用的规则。因此在SQL参考章节,除了SQL语法参考外,还会看到有关表达式、函数和操作符等信息。SQL基本查询语句如下: 约束与限制 日志
使用DSL加工函数清洗LTS日志数据 使用DSL加工函数进行事件判断 使用DSL加工函数处理日期时间 使用DSL加工函数对LTS日志数据脱敏 文本解析 数据富化
入配置详情页面,请参考表6。 表6 批量接入设置 类型 操作 说明 基本配置 接入类型 选择自建k8s - 应用日志。 接入配置数量 在输入框填写接入配置数量,单击“添加接入配置”。 在接入配置下方默认已有1个接入配置,最多支持再添加99个数量,因此支持同时添加100个接入配置。
op_ne 按照a!=b条件进行计算,返回true或false。a和b类型必须一致,例如都是字符串、数字或者列表。 容器判断 op_len 计算文本字符串中的字符数,可用于字符串和其他返回元组、列表、字典的表达式。 op_in 判断字符串、元组、列表或字典中是否包含特定元素,返回true或false。
操作系统messages日志 审计日志 数据仓库服务GaussDB(DWS)接入LTS - 16 ECS 弹性云服务器 全量日志(ICAgent采集文本日志) 云主机ECS文本日志接入LTS - 17 ELB 弹性负载均衡 7层访问日志(ELB) 弹性负载均衡 ELB接入LTS ELB监控中心 ELB访问中心