检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
功能特性 云日志服务提供数据加工功能,用于数据的规整、富化、脱敏和过滤。 数据规整:针对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数据仓库计算。 数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连接(JOIN),为日志添加更多维度的信息,用于数据分析。
键词GET和POST的日志。 字段搜索 配置字段索引后,您可以指定字段名称和字段值(key:value)进行搜索。根据字段索引中设置的数据类型,您可以进行多种类型的基础搜索和组合搜索。 value参数不可为空,通过搜索语句key:""匹配字段值为空的日志。 字段搜索和 not 运
e_regex 根据正则表达式提取字段的值并赋值给其他字段。支持和其他函数组合使用。 JSON提取 e_json 对特定字段中的JSON对象进行JSON操作,包括JSON展开、JMES提取或者JMES提取后再展开。支持和其他函数组合使用。 分隔符提取 e_csv、e_psv、e_tsv
caddr和dstaddr字段的日志。 通过流程控制函数中的e_if函数、操作符函数中的op_not函数、事件检查函数中的e_match函数删除srcaddr和dstaddr字段不符合IP地址格式的日志。 通过流程控制函数中的e_if函数、操作符函数中的op_and和op_or函
字段值的分布和变化趋势。更多信息请参见可视化。 二次分析 快速分析功能支持对float类型和long类型的字段进行二次分析,具体如下: 快速统计最大项、最小项、平均值和总和,分别单击目标字段下的Max、Min、Avg、Sum,快速查找所有项中的最大项、最小项、平均值和总和。 父主题:
本日志接入LTS。 图1 采集配置 单击“下一步:索引配置”,进入索引配置页面,按照界面默认参数配置即可,通过配置索引后,可对日志进行查询和分析操作。更多信息请参考索引配置。 单击“提交”,日志接入成功,可以单击“返回接入配置列表”查看日志接入,在接入管理页签,则会生成一条接入配置信息。
> 接入管理”页面,单击目标接入配置任务操作列的“更多 > ICAgent采集诊断”,通过查看ICAgent异常监控、ICAgent整体状态和ICAgent采集监控等详情处理问题。 若以上解决办法无法解决您的问题,请提交工单寻求技术支持工程师的帮助。 父主题: 日志接入
持展示字段分布值统计和智能聚合时间折线图,long和float数值类型的字段只支持展示智能聚合时间折线图。单击图表即可进入详情页面。 单击字段分布值统计或智能聚合时间折线图,会自动跳转到可视化界面并生成对应的SQL查询语句进行查询,更加直观地展示字段值的分布和变化趋势。更多信息请参见可视化。
日期时间对象和Unix时间戳的相互转换 处理函数 推荐dt_parse函数将Unix时间戳转换为日期时间字符串。 e_set函数中的tz参数设置会将不带时区的日期时间对象处理为带时区的,或将原时区的转换为目标时区。 Unix时间戳转换成带时区的时间字符串对象。 原始日志 {
提升网络的可扩展性及运维效率,从而保证业务的连续性。 云日志服务支持日志采集向导一站式采集ER日志,支持多维度分析,并为ER日志配置结构化和仪表盘。该仪表盘主要展示ER日志的TOP20包数统计、TOP20流量统计、流日志条数等信息。 前提条件 已采集ER流量日志,详情请参见企业路由器ER接入LTS。
节业务数据的比较能够直观地发现和说明问题所在的环节,进而做出决策。漏斗图用梯形面积表示某个环节业务量与上一个环节之间的差异。 查看漏斗图 登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择目标日志组和日志流,进入日志流详情页面。 选择“日志分析”。
登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择目标日志组和日志流,进入日志流详情页面。 选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。 单击图标,使用地图展示查询数据。在通用配置下方,参考表1配置参数。
LTS数字折线图 数字图和折线图组合,同时显示趋势和关键数据点。可以帮助用户更好的理解数据和趋势变化,从而更好的进行业务决策。 查看数字折线图 登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择目标日志组和日志流,进入日志流详情页面。
则表达式,表示不过滤文件。 假设目录下有aab和aba文件: 只匹配aab文件,正则写法:aab或aa或^aab或者aa. 只匹配aba文件,正则写法:aba或^aba或者^ab,不能写ab因为这样aab也是能匹配上的 匹配aab和aba,正则写法:ab或者a.* 如果存在正则关
Name、projectId、logGroupName和logStreamName。 在结构化字段和表字段的下拉框,选择您需要转储的字段。 单击操作列下的,删除不需要转储的字段。 单击,添加您需要转储的字段。 表普通列映射和表分区列映射添加表字段的总数为创建表的总列数。 - 表分区列映射
式暂不支持。 加工规则 通过原始日志中的account字段和OBS CSV文件中的account字段进行匹配,只有account字段的值完全相同,才能匹配成功。匹配成功后,返回OBS CSV文件中的nickname字段和字段值,与原始日志中的数据拼接,生成新的数据。 e_tabl
直观地理解数据的趋势和关键指标。 查看数字图 登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择目标日志组和日志流,进入日志流详情页面。 选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。
日志结构化解析是一种将日志数据从非结构化或半结构化形式转换为结构化格式的过程,以便于更好地存储、查询和分析,提高日志数据的可读性、可搜索性和查询效率。 解析方式介绍 云日志服务支持两种日志结构化解析方式:云端结构化解析和ICAgent结构化解析,且一个日志流只能配置一种结构化方式,例如选择云端结构化
采集路径如果配置的是目录,示例:/var/logs/,则只采集目录下后缀为“.log”、“.trace”和“.out”的文件;如果配置的是文件名,则直接采集对应文件,只支持文本类型的文件。 采集路径不能重复配置,即同一主机下的同一路径,即使跨日志组和日志流,也只能配置一次。 Windows: Windows环境日志采
上安装ICAgent。 请参考安装ICAgent(区域内主机)和安装ICAgent(区域外主机)。 区域内主机就是主机所在区域和用户登录云日志服务控制台所在的区域相同,例如华北-北京四。 区域外主机就是主机所在区域和用户登录云日志服务控制台所在区域不同,例如华为云其他区域、第三方都属于区域外主机。