检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
org的A记录查询。 字段含义: 2023-07-10 14:30:25:表示事件发生的时间。 client 192.168.2.50:表示发起查询的客户端的IP地址。 query:表明这是一个查询操作。 example.org:被查询的域名。 IN A:表示查询的是A记录(IPv4地址记录)。
场景七:数据转化纳秒级的Unix时间戳 部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求,当原始日志中存在Unix时间格式字段,您可以使用e_set字段操作函数,将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time":
场景八:数据转化微秒级标准 ISO8601 时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求,当原始日志中存在标准 ISO8601时间格式的字段,您可以使用e_set字段操作函数,将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time":
中。 统计类型 SQL统计(使用旧SQL引擎) SQL代码 输入的查询和分析语句,定时SQL运行时,云日志服务将执行该查询和分析语句分析日志。 选择时间范围,对该范围内的日志内容进行SQL查询;单击“预览”可查询预览结果。 目标日志组/流名称 存储SQL分析结果的日志组/日志流。
在仪表盘模板下方,选择“DMS仪表盘模板 > DMS重平衡日志中心”,查看图表详情。 消费组ID,所关联的查询分析语句如下所示: select distinct("message.groupId") 过滤重平衡原因。 重平衡消费组个数图表所关联的查询分析语句如下所示: select count(distinct("message
在仪表盘模板下方,选择“DCS仪表盘模板 > DCS审计日志中心”,查看图表详情。 访问用户数图表所关联的查询分析语句如下所示: select count(distinct(user)) as user_num 访问客户端数图表所关联的查询分析语句如下所示: select count(distinct(client_addr))
DDoS防护 AAD接入LTS 支持DDoS防护 AAD日志接入LTS。启用Anti-DDoS防护功能后,您可以将攻击日志记录到云日志服务(Log Tank Service,简称LTS)中,通过LTS记录的Anti-DDoS日志数据,快速高效地进行实时决策分析、设备运维管理以及业务趋势分析。
详情请参考管理日志组和管理日志流。超出存储时间的日志数据将会被自动删除,对于需要长期存储的日志数据(日志持久化),云日志服务提供转储功能,可以将日志转储至其他云服务中进行长期保存。 日志转储功能只能拷贝已有日志,不会删除日志。云日志服务LTS根据用户配置的日志存储时间定时清理日志文件,不会影响转储后的日志。
过滤掉不相关的日志,以便对结构化后的日志按照SQL语法进行查询与分析。 日志结构化解析是一种将日志数据从非结构化或半结构化形式转换为结构化格式的过程,以便于更好地存储、查询和分析,提高日志数据的可读性、可搜索性和查询效率。 解析方式介绍 云日志服务支持两种日志结构化解析方式:云
过滤掉不相关的日志,以便对结构化后的日志按照SQL语法进行查询与分析。 日志结构化解析是一种将日志数据从非结构化或半结构化形式转换为结构化格式的过程,以便于更好地存储、查询和分析,提高日志数据的可读性、可搜索性和查询效率。 解析方式介绍 云日志服务支持两种日志结构化解析方式:云
修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 签名SDK只提供签名功能,与服务提供的SDK不同,使用时请注意。 您也可以通过这个视频教程了解AK/SK认证的使用:https://bbs
"k2")) 加工结果 data:{"k3": "v3"} 场景五:解析值为JSON对象 您可以使用json_parse函数将字符串解析为JSON对象。 例如,data字段值为字符串,您可以将其转换为JSON对象。 原始日志 { "data": "pre{ \"k1\": \"v1\"
不承诺IP与地域关系完全正确;后续LTS会优化,缩短IP库的更新周期,为用户提供更好的体验。 单IP函数聚合查询的数据量上限为500万,查询的数据超出上限可能导致查询超时。 功能描述 IP函数是分析目标IP地址所属的国家、省份、城市及对应的网络运营商。 语法格式 SELECT count(*)
n的安装命令。 检查已获取的AK/SK是否正确,且AK/SK没有被删除。 执行netstat -nap | grep icagent命令,查看主机网络连接状态为ESTABLISHED代表网络连接正常。 若日志接入方式为“CCE接入”时,ICAgent安装完成后在主机页面不显示,请参考如下步骤排查:
产生日志的节点的ID。 abcdefg123 took 查询执行的总时间,以人类可读的格式(如 "10.5s")表示。 10.5s took_millis 查询执行的总时间,以毫秒为单位。 10500 source 触发慢查询的原始查询语句(JSON格式)。 {"query":{"match_all":{}}}\n
接口调用示例 本节通过调用LTS的API创建日志组。 通过IAM获取到的Token有效期为24小时,需要使用同一个Token鉴权时,可以先将Token缓存,避免频繁调用。 涉及API 当您使用Token认证方式完成认证鉴权时,需要获取用户Token并在调用接口时增加“X-Auth-Token”到业务接口请求消息头中。
DSL(Domain Specific Language)加工是LTS为您提供的一站式日志加工平台,基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、流转、脱敏、过滤等加工任务。详细加工语法请参考DSL数据加工语法(邀测)。 前提条件 已成功采集到日志。
数示例等。 在DSL加工逻辑中,日志中的所有值都以字符串的形式存储,需要根据场景对数据类型进行转换。 日志中时间主要有以下三种数据类型,您可以根据本文提供的日期时间函数进行日期时间格式转换。 字符串,例如2022/07/03 02-41-26。 Unix时间戳,例如1559500886。
在仪表盘模板下方,选择“METRIC仪表盘模板 > 日志生成指标任务监控中心”,查看图表详情。 过滤规则ID,所关联的查询分析语句如下所示: select distinct(task_set) 输入行数图表所关联的查询分析语句如下所示: SELECT CASE WHEN "input"
设置云端结构化自定义日志时间 当日志接入云日志服务LTS时,您可以通过开启“自定义日志时间”开关,将日志中的时间字段设置为接入配置的时间。 开启自定义日志时间 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面,单击右上角,在弹出页面中,