检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已创建日志组、日志流,请参考管理日志组和管理日志流。 创建关键词告警规则 LTS支持对日志流中的日志数据进行关键词统计,通过设置告警规则,监控日志中的关键词,统计一定时间段内的日志中关键字出现的次数,实时监控服务运行状态。 登录云日志服务控制台。 左侧导航选择“日志告警”。 在告警页面默认显示“告警列表”,单击“告警规则”切换至告警规则页面。
概述 字段提取检查与覆盖模式,介绍字段提取模式mode参数的不同取值以及说明。请参考DSL加工(邀测)创建加工任务。 DSL加工的功能在邀测中,仅支持华北-北京四、华东-上海一、华南-广州局点的内测用户使用,其他局点暂不支持。 表1 参数说明 参数值 说明 fill 当目标字段不存在或者值为空时,设置目标字段。
获取账号ID、项目ID、日志组ID、日志流ID 获取账号ID和项目ID 在调用接口的时候,部分URL中需要填入账号ID(domain-id)和项目ID,获取步骤如下: 注册并登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“我的凭证”页面查看账号ID和项目ID。 多项目时,
报,那么到第11天时,第1天的日志会存储到冷存储中,到第12天时,第2天的日志会存储到冷存储中,以此类推。 图1 冷存储 问题:冷存储的日志是否能重新变成标准存储日志? 答:不能,冷存储的日志不支持重新转为标准存储。 问题:标准存储的日志转换成冷存储的生效周期有多久? 答:1个小时内。
日志转储至DLI后,在DLI表中查不到新增分区怎么处理? 设置日志转储至DLI后,在DLI表中查不到新增分区,请参考如下方法处理。 方法1:更新表在元数据库中的分区信息 登录DLI控制台。 左侧导航栏选择“作业管理-SQL作业”。 单击对应队列的操作列“编辑”,进入详情页,在编辑框输入命令“MSCK
配置LTS日志转储至OBS后,OBS桶无法查看历史数据? 在云日志服务LTS控制台,配置OBS转储后,OBS桶无法查看历史数据,是因为云日志服务配置的日志转储是将最新产生的日志转储到OBS桶中,不会对历史日志进行转储。 更多信息请参考日志转储至OBS。 父主题: 日志转储
场景八:数据转化微秒级标准 ISO8601 时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求,当原始日志中存在标准 ISO8601时间格式的字段,您可以使用e_set字段操作函数,将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4",
场景七:数据转化纳秒级的Unix时间戳 部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求,当原始日志中存在Unix时间格式字段,您可以使用e_set字段操作函数,将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time":
最值函数对零个或多个字段进行操作,并返回单个值。 在最值函数的使用中请注意以下几点: 如果没有设置字段,则返回空值。字段必须能够转换为常见的数据类型。 如果所有字段都为空值,则返回空值。如果只有部分字段为空值,这些字段会被忽略。 如果字段中既有数字也有字符串,则函数将它们作为字符串进行比较。
日志接入概述 日志接入是一个关键的过程,它涉及到收集应用程序或服务在执行过程中生成的各种日志信息,如系统运行状态、错误信息和用户操作记录等。这些信息被存储在特定位置,以便于后续的分析和应用,对于系统的运维、故障排查和业务分析都至关重要。 云日志服务提供实时日志接入功能,通过ICA
、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。 别名:Value的别名。 默认选中:开启“默认选中”,可直接对添加的Value进行过滤选中。 操作:单击删除添加的Value。 添加动态列表项 动态列表项为对应查询和分析语句的查询结果,在不同的时间范围,查询结果是动态变化的。
Build/JRO03D))||" } 解决方案 在content中的GET /index/htsw/?ad=5|8|6|11| HTTP/1.1,如果使用e_csv解析不出正确的字段,需要先把这一块提取出来,然后在content中把这块内容替换成空。 e_regex("content",
支持分布式消息服务Kafka日志接入LTS。重平衡日志记录Rebalance的详情,包括Rebalance时间、原因和触发Rebalance的客户端等。重平衡日志存储在云日志服务(Log Tank Service,简称LTS)中,由LTS提供查询功能。 具体接入方法请参见查看Kafka重平衡日志。
0.23 新增支持快应用上报。 1.0.21 废弃config方法,优先使用new SDK创建一个新的实例。 去除代码中对三方包的依赖和存在的中文符号。 1.0.19 修改时间阈值的范围从1-60改为1-1800,其默认值从30改为3。 1.0.18 调整日志级别等级。 支持labels嵌套。
公告 公告是对新功能的介绍,展示云日志服务功能的最新动态。 如需查看更多功能介绍,您可以单击更多。 我的收藏/我的收藏(本地缓存) 我的收藏展示您收藏的日志流,有两种收藏方式:我的收藏和我的收藏(本地缓存)。 我的收藏:将日志流保存至数据库中,默认为关闭状态。当您的账号开通写权限时,可显示该功能和我的收藏(本地缓存)。
对接Grafana插件(Linux) Grafana是一个跨平台的开源的度量分析和可视化工具,可将通过将采集的数据查询进行可视化的展示,并及时通知。 LTS-Grafana是Grafana服务中的一个插件,它可以使用LTS的数据,并对数据进行可视化分析和展示。 前提条件 已安装Gra
SQL聚合函数 聚合函数是对结构化后的日志的指定列进行的统计运算。聚合函数返回的是单个值,经常与SELECT语句和GROUP BY语句一起使用。LTS支持如下表格所示聚合函数,具体请参考表1。 在聚合函数的使用中请注意以下几点: 聚合函数可用在任何查询的SELECT子句中。您可以使用如AGG(expr)
单击快速查询语句的名称,查看日志详情。 查看上下文 您可以通过本操作查看指定日志生成时间点前后的日志,用于在运维过程中快速定位问题。 在搜索分析页签下方的原始日志页面,单击可以查看上下文。 在查看上下文结果中,可以查看该日志的前后若干条日志详细信息。 在弹出的查看上下文页面中,查看日志上下文。
转储流量会统计非压缩的转储数据量,以转储DWS流量统计为例: 若用户将转储日志样例中的ip、status、cost_time、url 4个字段都转储到DWS数仓中,那么LTS会统计转储日志的每个字段的VALUE的大小(非压缩),数字统一按照8字节,那么统计的转储流量是length("192
jmes String 是 JMES表达式,表示提取的字段。 default String 否 如果提取字段不存在,则返回此处设置的值。默认为None,表示不返回字段。 restrict Bool 否 提取字段的值不是合法的JSON格式时,是否严格限制加工。 默认值false。 f