检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表示long类型字段。 快速分析的字段长度最大为2000字节。 快速分析字段展示前100条数据。 支持显示当前字段的采样数量。 单击即可查看一键生成的图表展示,string类型的字段支持展示字段分布值统计和智能聚合时间折线图,long和float数值类型的字段只支持展示智能聚合时间折线图。单击图表即可进入详情页面。
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据,实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中,支持华北-北京四、华东-上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 场景一:过滤LTS日志
oupName和logStreamName。 在结构化字段和表字段的下拉框,选择您需要转储的字段。 单击操作列下的,删除不需要转储的字段。 单击,添加您需要转储的字段。 表普通列映射和表分区列映射添加表字段的总数为创建表的总列数。 - 表分区列映射 存储时根据设置的字段值进行分区
索引流量等于原始日志流量,字段索引功能上线之后,索引流量和用户的索引配置相关。在用户开启全文索引或者没有进行索引配置的场景下,索引流量等于原始日志流量,如果用户只配置了字段索引,则索引流量只统计开启了字段索引的字段,不再和原始日志流量保持一致。 日志索引流量:原始日志数据默认都会
IPV4_MATCH函数,如果address属于subnet的子网ip,则返回true,否则返回false。如果address不是有效的IPv4地址,则返回false。如果address 是整数而不是字符串,则此函数具有更高的执行效率。 字段样例 Ipv4: 192.168.1.18 查询和分析语句 select IPV4
VPN网关的本端子网与对端子网不能相同,即VPC和用户数据中心待互通的子网不能相同。 VPN网关和对端网关的IKE策略、IPsec策略、预共享密钥需要相同。 VPN网关和对端网关上配置的本端接口地址和对端接口地址需要互为镜像。 VPC内弹性云服务器安全组允许访问对端和被对端访问。
完善的自我保护机制。为保证运行在服务器上的ICAgent,不会明显影响您服务器上其他服务的性能,ICAgent在CPU、内存及网络使用方面都做了严格的限制和保护机制。 ICAgent结构化解析规则 日志接入前,您需要提前了解ICAgent采集的结构化解析规则,方便快速操作。支持组合解析,一个日志流的每个采集配
year(s)、month(s)、day(s)等参数的后面都带有s,表示这些参数可以有两种形式,即year和years,month和months等。以year和years为例,如果参数传递的是year,表示在年份粒度上覆盖为year参数的值;如果传递的是years,表示在年份粒度上增加years参数的值。同时要一起组
费。每个月有一定的免费额度。 免费额度是按照华为账号级别提供的,即主账号下云日志服务的所有日志组共享免费额度。 欠费影响 欠费预警 系统会在每个计费周期后的一段时间对按需计费资源进行扣费。当您的账户被扣为负值时,我们将通过邮件、短信和站内信的方式通知到华为账号的创建者。 欠费后影响
字段操作函数 本文介绍字段操作函数的语法规则,包括参数解释、函数示例等。 函数列表 函数 说明 V 获得日志特定字段的值。当同时传入多个字段名时,返回日志中第一个存在的字段的值。支持和其他函数组合使用。 e_set 添加新字段或为现有字段设置新的字段值。支持和其他函数组合使用。 e_drop_fields
全局操作函数 否 默认的全局操作函数或其组合。没有条件满足时执行该操作。 返回结果 返回加工处理后的日志。 函数示例 如果content字段的值为123,则将__topic__字段的值设置为Number。如果data字段的值为123,则将__topic__字段的值设置为PRO。 测试数据
持和其他函数组合使用。 e_match 判断当前日志字段的值是否满足正则表达式。支持和其他函数组合使用。 e_match_any 判断当前日志字段的值是否满足正则表达式,任意字段匹配返回true,否则返回false。 e_match_all 判断当前日志字段的值是否满足正则表达式
业海量运维的自动化能力和效率。 AOM1.0与LTS关系 AOM1.0提供日志管理功能,该功能后台依赖LTS,日志相关的计费话单也是报给LTS。随着产品的发展,AOM1.0中的日志管理功能不再推荐使用。由于现在还有有大量存量用户将CCE日志采集到AOM,正在逐步引导客户将日志直接
在“可视化”页签下输入SQL查询语句对相应的字段进行查询,即可返回所需的日志内容。 查询结果呈现 表格 下面的语句查询请求的host,request_uri所对应的日志各有多少条,发送的请求体的大小(MB),请求返回的状态码分别是2xx, 3xx, 4xx, 5xx的占比,并按照日志条数降序排列。
减小查询时间范围后,再进行查询。 查询日志时匹配到的日志结果过多 可能原因:只有短语搜索#"value"才能保证关键词出现的顺序。例如查询语句abc def搜索的是同时包含abc和def的日志,无法准确匹配包含短语abc def的日志。 解决方法:推荐采用短语搜索#"abc def",可以准确匹配包含短语abc
消息模板是告警通知消息的固定格式,系统发送告警通知消息必须使用消息模板向订阅者发送。支持内置消息模板,不同协议的订阅者优先选择模板名称对应的协议模板,如果对应的协议模板不存在,则采用内置的消息模板。使用消息模板发送告警通知消息时,系统会自动将模板变量替换为告警规则中的内容。 创建消息模板
string 必填 - 华为云账号的项目ID。 groupId string 必填 - LTS的日志组ID。 streamId string 必填 - LTS的日志流ID。 accessKey string 必填 - 华为云账号的访问密钥,简称AK。注意:认证用的华为云账号AK、SK硬编码
单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组,若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流,若没有所需的日志流,单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。
单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组,若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流,若没有所需的日志流,单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。
lts-flink-connector source和sink日志不能为同一个日志流。 flink消费保证最终一致性,即您可以获取到这条日志流的全部内容,但由于时间为服务端时间,所以在获取日志流的过程中,可能导致获取到的日志数量跟LTS页面查询的日志数量不一致。 语法结构 认证用的ak和sk硬编码到代码中或者