检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
overall_type") e_split("topic") 处理后日志格式如下: topic: server_status // 另外2条是client_status和overall_type, 其他一样 content: { ...如上... } 基于content的
SQL聚合函数 聚合函数是对结构化后的日志的指定列进行的统计运算。聚合函数返回的是单个值,经常与SELECT语句和GROUP BY语句一起使用。LTS支持如下表格所示聚合函数,具体请参考表1。 在聚合函数的使用中请注意以下几点: 聚合函数可用在任何查询的SELECT子句中。您可以使用如AGG(expr)
采集多渠道日志数据到LTS 日志接入是指通过各种手段采集应用程序或服务在运行时产生的系统运行状态、错误信息、用户操作记录等日志信息,并将这些日志信息存储到指定的位置,以便后续分析和使用。这些日志信息对于系统运维、故障排查以及业务分析都具有重要意义。 云日志服务LTS提供实时日志接
统的运维成本和运维人员的时间成本。后续如有收费计划将至少提前1个月通知您。 短信通知按实际用量付费,详细请参考消息通知服务的计费说明。语音是白名单功能,具体收费请参考计费说明。 快速响应异常问题。 更全面、更智能的告警监控能力与告警行动规则能力,使告警的响应变得更迅速,提高问题解决的速度,减少因业务异常造成的损失。
和结构化字段都会统计在内。云端结构化解析会消耗LTS服务端算力,未来会按照日志大小收取日志加工流量费用。 ICAgent结构化是在采集侧做结构化,利用的是用户节点上的资源,将结构化完成的数据上报到LTS。ICAgent结构化解析支持插件组合解析,单个日志流的多个采集配置支持不同结
在对VPC流日志查询和分析过程中,为便于分析公网流量,您需要对原始日志做以下处理: 如果srcaddr和dstaddr字段不存在,则丢弃该日志。 如果是私网之间互通的流量,则丢弃该日志。 基于以上需求,您可以通过DSL日志加工,对采集到的VPC流日志进行日志加工,便于问题分析。 操作步骤 V
如果上一步的值是一个列表或JSON列表格式的字符串,则按照此列表分裂并结束处理。否则使用sep、quote或lstrip将上一步的值进行CSV解析,根据解析后的多个值进行分裂并结束处理。 参数说明 参数名称 参数类型 是否必填 说明 字段名 String 是 需要分裂的字段名。
描述 log_time_ns 是 Long 日志数据上报时间,UTC时间(纳秒)。 通过接口上报日志到LTS的时间相距当前时间不超过2天,否则上报日志会被LTS删除。 contents 是 Array of String 日志内容。 labels 是 Object 用户自定义label。
将其添加到页面搜索框中,进行搜索。请参考创建LTS快速分析开启快速分析。 通过单击字段添加到搜索框中,如果是同一字段,则将直接替换该方式添加的字段,不会进行AND搜索;如果是不同字段,则对不同字段进行AND搜索。 在“日志搜索”页签,您可以进行如下操作,更多操作请参考日志搜索的常用操作。
ICAgent:ICAgent是华为云日志服务的日志采集器,通过在主机上安装ICAgent,您可以将日志采集到LTS。安装ICAgent前,请确保本地浏览器的时间、时区与主机的时间、时区一致。 网络互通: 场景一:自建IDC或者第三方云厂商与华为云之间网络互通的典型方式是云专线DC,如果没有专线,您可以尝试VPN/公网IP方式。
LTS配置日志接入后多久有日志? 通过ICAgent接入LTS后无法采集到日志? 日志搜索与分析 查看LTS实时最新日志,每一次加载数据时延是多久? 无法查看上报到LTS的日志怎么办? 在LTS控制台如何手动删除日志数据? 在LTS页面无法搜索日志时怎么办? 日志转储 日志转储后,LTS会删除转储的日志内容吗?
log,日志匹配示例: /var/logs/service/a1.log /var/logs/service/a2.log 如果配置的是文件名,则直接采集对应文件,只支持内容是文本格式的文件。 允许文件多次采集。(暂不支持Windows场景) 开启“允许文件多次采集”后,同一主机下的同一日志文件
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见:获取账号ID、项目ID、日志组ID、日志流ID。 最小长度:32 最大长度:32 log_group_id 是 String 日志组ID,获取方式请参见:获取账号ID、项目ID、日志组ID、日志流ID。
日志文件编码 日志文件编码支持UTF-8、GBK(暂不支持Windows场景)。 UTF-8编码是一种变长编码方式,用于表示Unicode字符集。GBK全称《汉字内码扩展规范》,中文计算机编码的一种,是ASCII码和GB2312编码的扩展。 采集策略 采集策略支持增量或全量。 增量采集:I
参数说明 参数名称 描述 类型 是否必选 arr 原始数组 Array(String/Number) 是 start 起始位置 Integer 是 end 结束位置 Integer 是 返回值类型:Array类型 示例:SELECT MV_SLICE(ARRAY['1','2','3'
如果字段中既有数字也有字符串,则函数将它们作为字符串进行比较。 如果所有字段都是整数,则函数将它们作为LONG值进行比较。 如果所有字段都是数字且至少有一个是FLOAT值,则函数将它们作为FLOAT值进行比较。 语法格式 SELECT GREATEST(fieldname1,fieldname2)
日志流中shard发生split或者merge,consumer worker消费的shard也会随之改变。 本地调试配置启动参数。 以下是一个简单的消费示例,我们使用java.util.Properties作为配置工具,所有Consumer的配置都可以在ConfigConstants中找到。
e_if函数 e_if(条件1, 操作1, 条件2, 操作2, 条件3, 操作3, ....) e_switch函数 e_switch函数是条件与操作的配对组合。依次根据条件进行判断,满足条件的进行对应操作。不满足条件的不进行对应操作,直接进行下一个条件判断。如果没有满足任一条件
log、/var/logs/service/a*.log。 采集路径如果配置的是目录,示例:/var/logs/,则只采集目录下后缀为“.log”、“.trace”和“.out”的文件;如果配置的是文件名,则直接采集对应文件,只支持文本类型的文件。 采集路径不能重复配置,即同一
日志文件编码 日志文件编码支持UTF-8、GBK(暂不支持Windows场景)。 UTF-8编码是一种变长编码方式,用于表示Unicode字符集。GBK全称《汉字内码扩展规范》,中文计算机编码的一种,是ASCII码和GB2312编码的扩展。 采集策略 采集策略支持增量或全量。 增量采集:I