检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过流程控制函数中的e_if函数、事件检查函数中的e_not_has函数删除不存在srcaddr和dstaddr字段的日志。 通过流程控制函数中的e_if函数、操作符函数中的op_not函数、事件检查函数中的e_match函数删除srcaddr和dstaddr字段不符合IP地址格式的日志。
日志转储至DLI后,在DLI表中查不到新增分区怎么处理? 设置日志转储至DLI后,在DLI表中查不到新增分区,请参考如下方法处理。 方法1:更新表在元数据库中的分区信息 登录DLI控制台。 左侧导航栏选择“作业管理-SQL作业”。 单击对应队列的操作列“编辑”,进入详情页,在编辑框输入命令“MSCK
默认情况下,云日志服务LTS中的日志时间戳精确到秒,因此时间格式只需配置到秒,无需配置毫秒、微秒等信息。 表2 时间格式 时间格式 说明 示例 EEE 星期的缩写。 Fri EEEE 星期的全称。 Friday MMM 月份的缩写。 Jan MMMM 月份的全称。 January dd
403 LTS.0003 No permission. 非法的角色 请授予LTS服务权限 403 LTS.0011 Invalid projectId 非法的projectId 请确认URL中的projectId与token中的projectId一致 500 LTS.0107 Current
LTS日志转储状态显示异常是什么原因? 在云日志服务LTS控制台的“日志转储”页面,日志转储任务的状态显示异常,有可能是如下原因引起: 可能原因:OBS桶策略异常。 解决方法:请您在对象存储服务中设置访问控制策略。详细请参考配置桶策略。 可能原因:Kafka集群被删除。 解决方法
已创建日志组、日志流,请参考管理日志组和管理日志流。 创建关键词告警规则 LTS支持对日志流中的日志数据进行关键词统计,通过设置告警规则,监控日志中的关键词,统计一定时间段内的日志中关键字出现的次数,实时监控服务运行状态。 登录云日志服务控制台。 左侧导航选择“日志告警”。 在告警页面默认显示“告警列表”,单击“告警规则”切换至告警规则页面。
场景八:数据转化微秒级标准 ISO8601 时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求,当原始日志中存在标准 ISO8601时间格式的字段,您可以使用e_set字段操作函数,将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4",
概述 字段提取检查与覆盖模式,介绍字段提取模式mode参数的不同取值以及说明。请参考DSL加工(邀测)创建加工任务。 DSL加工的功能在邀测中,仅支持华北-北京四、华东-上海一、华南-广州局点的内测用户使用,其他局点暂不支持。 表1 参数说明 参数值 说明 fill 当目标字段不存在或者值为空时,设置目标字段。
LTS使用价格计算器,计算出来月成本约为107655元,使用LTS的成本约为自建ELK成本的28.8%,原因是LTS的存储收费是按用量付费,自建ELK为了保证集群的正常运行需要留有很多磁盘冗余。 总结 云日志服务LTS在功能、性能、成本方面对比ELK都有明显的优势,推荐您使用全托管式的云日志服务替代自建ELK。 父主题:
报,那么到第11天时,第1天的日志会存储到冷存储中,到第12天时,第2天的日志会存储到冷存储中,以此类推。 图1 冷存储 问题:冷存储的日志是否能重新变成标准存储日志? 答:不能,冷存储的日志不支持重新转为标准存储。 问题:标准存储的日志转换成冷存储的生效周期有多久? 答:1个小时内。
场景七:数据转化纳秒级的Unix时间戳 部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求,当原始日志中存在Unix时间格式字段,您可以使用e_set字段操作函数,将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time":
最值函数对零个或多个字段进行操作,并返回单个值。 在最值函数的使用中请注意以下几点: 如果没有设置字段,则返回空值。字段必须能够转换为常见的数据类型。 如果所有字段都为空值,则返回空值。如果只有部分字段为空值,这些字段会被忽略。 如果字段中既有数字也有字符串,则函数将它们作为字符串进行比较。
配置LTS日志转储至OBS后,OBS桶无法查看历史数据? 在云日志服务LTS控制台,配置OBS转储后,OBS桶无法查看历史数据,是因为云日志服务配置的日志转储是将最新产生的日志转储到OBS桶中,不会对历史日志进行转储。 更多信息请参考日志转储至OBS。 父主题: 日志转储
Syslog是网络上各种设备将日志收集到日志服务器的一种数据协议,它几乎被所有的网络设备支持,并且能够记录多种事件类型的日志消息,支持syslog的设备常见的有路由器、交换机、打印机等,甚至unix-like的服务器也可以支持产生syslog消息,用以记录用户的登录、防火墙事件、apache或者nginx
启动Flume后,即可开始采集数据库中的表数据到LTS。 使用Flume采集syslog协议传输的日志上报到LTS Syslog协议是一种用于在IP网络中传输日志消息的协议,通过Flume将syslog协议传输的日志采集并上报到LTS。以下示例中的参数介绍请参考使用KAFKA协议上报日志。
获取账号ID、项目ID、日志组ID、日志流ID 获取账号ID和项目ID 在调用接口的时候,部分URL中需要填入账号ID(domain-id)和项目ID,获取步骤如下: 注册并登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“我的凭证”页面查看账号ID和项目ID。 多项目时,
支持分布式消息服务Kafka日志接入LTS。重平衡日志记录Rebalance的详情,包括Rebalance时间、原因和触发Rebalance的客户端等。重平衡日志存储在云日志服务(Log Tank Service,简称LTS)中,由LTS提供查询功能。 具体接入方法请参见查看Kafka重平衡日志。
Build/JRO03D))||" } 解决方案 在content中的GET /index/htsw/?ad=5|8|6|11| HTTP/1.1,如果使用e_csv解析不出正确的字段,需要先把这一块提取出来,然后在content中把这块内容替换成空。 e_regex("content",
启动Flume后,即可开始采集数据库中的表数据到LTS。 使用Flume采集syslog协议传输的日志上报到LTS Syslog协议是一种用于在IP网络中传输日志消息的协议,通过Flume将syslog协议传输的日志采集并上报到LTS。以下示例中的参数介绍请参考使用KAFKA协议上报日志。
、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。 别名:Value的别名。 默认选中:开启“默认选中”,可直接对添加的Value进行过滤选中。 操作:单击删除添加的Value。 添加动态列表项 动态列表项为对应查询和分析语句的查询结果,在不同的时间范围,查询结果是动态变化的。