检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志搜索与分析 将LTS日志查询页面嵌入用户自建系统 本实践主要介绍通过统一身份认证服务IAM的联邦代理机制实现用户自定义身份代理,再将LTS登录链接嵌入至客户自建系统实现无需在华为云官网登录就可在自建系统界面查询LTS日志。 日志搜索与分析 分页显示查询分析结果 本实践介绍查询结果和分析结果的分页方法。
字段样例 Num: 11785730 查询和分析语句 select Num,GREATEST( "Num"/10,(select count(1)) ),LEAST("Num"/10,(select count(1))) 查询和分析结果 表1 归约函数查询和分析结果 Num EXPR$1
中。 统计类型 SQL统计(使用旧SQL引擎) SQL代码 输入的查询和分析语句,定时SQL运行时,云日志服务将执行该查询和分析语句分析日志。 选择时间范围,对该范围内的日志内容进行SQL查询;单击“预览”可查询预览结果。 目标日志组/流名称 存储SQL分析结果的日志组/日志流。
方式进行查询,并且可以长期存储。 采集到日志数据按照结构化和非结构化进行分析。结构化日志是通过规则将日志流中的日志进行处理,提取出来有固定格式或者相似度高的日志内容做结构化的分类。 海量日志存储搜索 对采集的日志数据,可以通过关键字查询、模糊查询等方式简单快速地进行查询。 SQL统计和可视化图表
DSL加工任务监控中心”,查看图表详情。 过滤加工任务ID,所关联的查询分析语句如下所示: select distinct(task_id) 过滤加工任务名称,所关联的查询分析语句如下所示: select distinct(task_name) 输入行数图表所关联的查询分析语句如下所示:
数据库以及线下数据库的异构数据进行探索。 基于转储DLI功能,您可以轻松将LTS中的日志按照字段映射关系转储到DLI数据库表中,进行后续的大数据分析工作。 前提条件 日志已接入云日志服务(LTS)。 日志流已配置结构化规则。 已在DLI中创建数据库和表,创建数据库表时数据位置选择
Id:dc1dab7e-b045-4e77-bda4-914d083d1bf7 查询和分析语句 SELECT split(Id,'-'), split(Id,'-',2) 查询和分析结果 表1 split函数查询和分析结果 EXPR$0 EXPR$1 ["dc1dab7e","b045"
实现微服务应用的快速开发和高可用运维。 CSE仪表盘模板支持查看CSE层级访问中心、查看CSE层级监控中心和查看CSE层级秒级监控。 前提条件 已采集CSE日志。 日志配置结构化,详情请参见设置云端结构化解析日志。 查看CSE层级访问中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘
自己的实际需求,选择时间范围。 相对时间:表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。
自己的实际需求,选择时间范围。 相对时间:表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。
host,ntile(5) over (partition by status order by host) as n 表3 查询分析结果 类型 场景 查询语句 status,host,ntile(5) over (partition by status order by host)
存储在云日志服务LTS的日志可以用于安全合规审计。日志上报到LTS后,LTS不支持修改日志,防止日志被篡改。因此,用户可以将日志长期存储在LTS,随时查询用于安全合规审计场景。 如果使用日志组的日志存储时间,请参考管理日志组修改日志存储时间;如果使用日志流的日志存储时间,请参考管理日志流修改日志存储时间。
double或double precision 返回值类型:目标数据类型。 示例:select cast(time as date) 表4 查询分析结果 类型 场景 查询语句 cast(time as date) 返回结果 2023-08-31 23:11:17.000 父主题: SQL函数
执行如下命令,将ES索引数据写入磁盘。 python xxx.py 查看数据是否成功查询及写入磁盘。 参考示例demo写入磁盘路径为:/tmp/test.log,操作时需要填写实际使用的路径,执行如下命令可以查看数据写入磁盘情况。 tail -f /tmp/test.log 登录
云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录LTS的管理事件用于审计。
使用<br>换行。 使用<a href="$event.annotations.alarm_rule_url ">查看详情</a>添加链接。您可以单击该链接查看触发告警的详细信息。使用<span style="color: red">${event_severity}
云日志服务与其他服务之间关系,如表1所示。 表1 与其他服务之间关系 交互功能 相关服务 通过CTS服务,您可以记录与云日志服务相关的操作事件,便于日后的查询、审计和回溯。 云审计服务(Cloud Trace Service,简称CTS) 通过OBS服务,您可以将需要长期存储的日志转储至OBS桶中,确保日志不丢失,实现数据持久化。
和其他函数组合使用。 搜索映射 e_search_dict_map 对关键字(查询字符串)以及其匹配的值的字典数据进行映射。支持和其他函数组合使用。 e_search_table_map 对某列(查询字符串)以及其匹配的值的表格数据进行映射。 e_dict_map 与目标数据字典
resource_id; 查询语句:$event.annotations.results[0].sql; 查询时间:$event.annotations.results[0].time; 查询URL:$event.annotations.results[0].url; 查询日志:$event
resource_id; 查询语句:$event.annotations.results[0].sql; 查询时间:$event.annotations.results[0].time; 查询URL:$event.annotations.results[0].url;查询日志:$event