检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL聚合函数 聚合函数是对结构化后的日志的指定列进行的统计运算。聚合函数返回的是单个值,经常与SELECT语句和GROUP BY语句一起使用。LTS支持如下表格所示聚合函数,具体请参考表1。 在聚合函数的使用中请注意以下几点: 聚合函数可用在任何查询的SELECT子句中。您可以使用如AGG(expr)
在云日志服务控制台的“接入 > 接入管理”页面,单击目标接入配置任务操作列的“更多 > ICAgent采集诊断”,通过查看ICAgent异常监控、ICAgent整体状态和ICAgent采集监控等详情处理问题。 若以上解决办法无法解决您的问题,请提交工单寻求技术支持工程师的帮助。 父主题:
构建字典与表格进行数据富化 字典和表格是对数据进行富化时主要使用的两种数据结构,本文档主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。 字典构建 不同字典构建方式对比参考如下: 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。 如果
日志流 主机管理 主机组 云主机ECS文本日志接入LTS 云端结构化配置 可视化 仪表盘 日志告警 日志转储 云日志服务 云日志服务(Log Tank Service,简称LTS),用于收集来自主机和云服务的日志服务,通过海量日志数据的分析与处理,可以将云服务和应用程序的可用性和性能最
创建的委托名称。待剩余参数配置完成后,单击“立刻购买”即可。 在管理信息下方的“委托”后,单击,选择已创建的委托名称,单击即可生效。更多关于委托的信息,请参见委托其他账号管理资源。 登录管理控制台,选择“管理与部署 > 云日志服务 LTS”,进入“日志管理”页面。 左侧导航栏选择“主机管理
Syslog是网络上各种设备将日志收集到日志服务器的一种数据协议,它几乎被所有的网络设备支持,并且能够记录多种事件类型的日志消息,支持syslog的设备常见的有路由器、交换机、打印机等,甚至unix-like的服务器也可以支持产生syslog消息,用以记录用户的登录、防火墙事件、apache或者nginx
获取Results字段中EndTime字段的值。 字段样例 Results:[{"EndTime":1626314520},{"FireResult":2}] 查询和分析语句 SELECT json_extract(Results, '$.[0].EndTime') 查询和分析结果 表2 查询和分析结果 EXPR$0
单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组,若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流,若没有所需的日志流,单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。
string类型展示的图形 图2 long和float数值类型展示的图形 单击字段分布值统计或智能聚合时间折线图,会自动跳转到可视化界面并生成对应的SQL查询语句进行查询,更加直观地展示字段值的分布和变化趋势。更多信息请参见可视化。 二次分析 快速分析功能支持对float类型和long类型的字段进行二次分析,具体如下:
加工规则 通过原始日志中的account字段和OBS CSV文件中的account字段进行匹配,只有account字段的值完全相同,才能匹配成功。匹配成功后,返回OBS CSV文件中的nickname字段和字段值,与原始日志中的数据拼接,生成新的数据。 e_table_map
String Topic的唯一的资源标识。 最小长度:1 最大长度:1024 display_name 否 String Topic的显示名,推送邮件消息时,作为邮件发件人显示。 最小长度:1 最大长度:1024 push_policy 否 Integer 消息推送的策略。 最小值:1
删除字符串中指定的字符。 函数格式 str_strip(value, chars) 参数说明 参数名称 参数类型 是否必填 说明 value 任意(自动转为String) 是 需要被修改的原字符串。 chars 任意(自动转为String) 否 字符串开头和结尾需要删除的字符集,默认为\t\r\n。
使用ICAgent采集日志时,推荐的日志轮转方案是什么? 日志轮转也叫日志切割或日志绕接,通俗来讲是对日志文件的大小进行控制。 软件系统通常会长时间的不停机运行,这样会产生很多信息记录到不同的日志中。随着时间的推移,日志的容量自然会越来越大,而硬盘的空间是有限的,就需要对日志文件的大小进行控制。
用户在使用云服务时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费后,可能会影响云服务资源的正常运行,请及时充值。 欠费原因 在按需计费模式下账户的余额不足。 欠费影响 欠费后,无法上报日志,且无法创建日志组和日志流等功能。 避免和处理欠费 减少日志存储时间或及时删除不需要的日志流。
同比和环比函数 本文介绍同比和环比函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 同比和环比函数 函数 描述 compare函数 用于对比当前时间周期内的计算结果与n秒之前时间周期内的计算结果。 ts_compare函数 用于对比当前时间周期内的计算结果与n秒之前时间周期内的计算结果。
g等搜索的也是同时包含var和log的所有日志。 查询日志使用搜索语法的常见问题和相关报错的处理方法请参考日志搜索相关问题。 搜索方式 搜索语句是用来指定日志搜索时的过滤规则,返回符合条件的日志。 根据索引配置方式可分为全文搜索和字段搜索,根据搜索精确程度可分为精确搜索和模糊搜索
ion的ICAgent无法直接访问华为云管理面上报日志的网段,需要配置跳板机进行数据转发;当您在进行POC测试,或者日志流量并不大的情况下,可以使用跳板机的方案。对于大流量的日志场景,如果您希望在生产环境中去掉跳板机,请提交工单给华为云网络技术支持工程师帮您设计网络直通的方案。 典型的跳板机配置是2vCPUs
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露,降低敏感数据泄露的风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身份证号
使用DSL加工函数进行事件判断 通过事件判断可以更好地对符合特定条件的数据进行相应操作,让加工逻辑更可靠。本文主要介绍使用函数进行事件判断的常见场景和最佳方案示例。 场景一:判断字段是否存在 原始日志 { "a": "a_value" } 加工规则 e_if(e_has("a")
19:00:00的日志数据。 自定义:表示查询指定时间范围的日志数据。 从剪切板中粘贴:单击“从剪切板中粘贴”,可直接自动将您剪切的日志内容复制到示例日志框中。 字段提取。包括自动生成和手动输入两种方式,可将选择的日志提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 自