检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面,单击右上角,在弹出页面中,选择“云端结构化解析”,进行日志结构化配置。 开启“保留原始日志”后,原始日志将作为content字段的值存储到云日志服务。同时在资源统计和计费时content字段均会统计在内。
单击“前往ELB配置”。具体的操作步骤,请见访问日志。 日志流配置。 表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为ELB系统模板,索引配置时将所有ELB解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对ELB日志进行SQL分析,并提供可视化图表。
日志结构化解析是一种将日志数据从非结构化或半结构化形式转换为结构化格式的过程,以便于更好地存储、查询和分析,提高日志数据的可读性、可搜索性和查询效率。 解析方式介绍 云日志服务支持两种日志结构化解析方式:云端结构化解析和ICAgent结构化解析,且一个日志流只能配置一种结构化方式,例如选择云端结构化
、hostId、hostIP、pathFile、hostIPv6、category、collectTime、__host_group__ 采集场景为K8S集群容器文件的内置字段为:hostName、hostId、hostIP、pathFile、hostIPv6、clusterId
__time__ 否 String 自定义时间特性时间字段,字段值需要从日志结果中获取,毫秒级时间戳。若已开启云端结构化自定义时间功能,需要使用该字段和line_num字段共同进行上下文查询。 backwardsSize 否 Integer 指定起始日志往前(上文)的日志条数,取值范围 [0
下划线等特殊符号开头和结尾,长度为 1 - 100,创建后不可修改 最小长度:1 最大长度:100 type 否 Array of strings 保留字段,非必填 desc 否 String 模板描述,非必填,只含有汉字、数字、字母、下划线不能以下划线开头和结尾,长度为0--1024
下划线等特殊符号开头和结尾,长度为 1 - 100,创建后不可修改 最小长度:1 最大长度:100 type 否 Array of strings 保留字段,非必填 desc 否 String 模板描述,非必填,只含有汉字、数字、字母、下划线不能以下划线开头和结尾,长度为0--1024
日志转储 创建日志转储(旧版) 创建日志转储(新版) 删除日志转储 更新日志转储 查询日志转储 注册DMS kafka实例 父主题: API说明
背景信息 用户在LTS页面只需按照业务需要创建指标规则即可生成自己的统计报表,设置单个日志过滤条件或通过添加关联关系和添加组设置多个日志过滤条件,保留符合条件的日志,对用户特定时间范围内已结构化的日志进行动态统计,并将统计结果动态呈现到aom的Prometheus实例,操作简单且功能强大。
"details" : "The log stream does not existed" } } 状态码: 500 表明服务端能被请求访问到,但是服务内部出错 { "error_code" : "LTS.0203", "error_msg" : "Internal Server
数据库对象的集合名称。 - 表名 schema中的表名称。 - 字段映射 将内置字段以及日志中配置的结构化字段和类型,映射到数据库字段。 内置字段有13个,分别是hostIP、 hostId、hostName、pathFile、collectTime、clusterName、clusterId、
AOM容器日志接入LTS 创建接入规则 修改接入规则 删除接入规则 查询所有接入规则 查询单个接入规则 父主题: API说明
加工规则 # 提取字段msg中出现的两个IP地址,分别赋值给server_ip和client_ip。 e_regex("msg",r"\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}",["server_ip","client_ip"]) 加工结果 msg: 192
云服务资源种类数量多,不熟悉监控指标和运维日志,运维难度大。 安全合规要求高,等保合规要求日志长期存储,人力不足,维护成本高。 基于云日志服务LTS可以实现: 提供全场景日志接入,全面覆盖业务、应用、中间件和基础设施,实现快速收集日志。 支持秒级日志查询和分钟级日志监控,通过配置告警规则和告警通知,实现分钟级问题定位和分析。
执行cd /var/ICAgent进入ICAgent日志目录。 执行如下命令,查询日志采集配置。 zgrep switchList *.zip //查询已转储日志压缩包 cat oss.icAgent.trace | grep switchList //查询当前日志文件
str_translate 将字符串中的指定字符按照对应关系进行替换。 常见操作 str_strip 删除字符串中指定的字符。 str_lstrip 删除字符串开头的指定字符。 str_rstrip 删除字符串结尾的指定字符。 str_lower 将字符串中所有大写字符转换为小写字符。 str_upper
String 日志转储格式。只支持"RAW", "JSON"。RAW是指原始日志格式,JSON是指JSON日志格式。OBS转储和DIS转储支持JSON和RAW,DMS转储仅支持RAW log_transfer_detail TransferDetail object 日志转储详细信息
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题: DSL数据加工语法(邀测)
、hostId、hostIP、pathFile、hostIPv6、category、collectTime、__host_group__ 采集场景为K8S集群容器文件的内置字段为:hostName、hostId、hostIP、pathFile、hostIPv6、clusterId
当关闭全文索引,仅开启字段索引,则long类型和float类型的字段名将不记入索引流量中,每个字段值占用的索引流量统一为8字节。如果是String类型,则日志字段名(Key)和字段值(Value)都将作为text类型存储,字段名和字段值都被计入索引流量中。使用字段索引,可降低索引流量费用。