检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
e_rename("IdNumber", "Id"))) 加工结果 { "Id": 1, "content": 123 } 父主题: 使用DSL加工函数清洗LTS日志数据
华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。
间范围。 相对时间:表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:2
间范围。 相对时间:表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:2
"error", "status1_info": "normal", "status2": 404 } 父主题: 使用DSL加工函数清洗LTS日志数据
时,表示查询18:20:31~19:20:31的日志数据。 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。 自定义:表示查询指定时间范围的日志数据。 PV对
时,表示查询18:20:31~19:20:31的日志数据。 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。 自定义:表示查询指定时间范围的日志数据。 PV对
划线、下划线以及小数点,且不能以小数点、下划线开头或以小数点结尾。 数据源配置:选择数据源类型,进行对应的数据源配置,详细请参考表2。对挂载的网盘或者共享存储,配置多台机器同时采集,会导致日志重复。 表2 数据源配置参数 类型 参数配置 容器标准输出 采集集群内指定容器日志,仅支持Stderr和Stdout的日志。
index_traffic Double 索引流量,byte, 查询数据类型中包含index时返回 storage Double 存储量,byte, 查询数据类型中包含storage时返回 write_traffic Double 写入流量,byte, 查询数据类型中包含write时返回 log_group_id
使用DSL加工函数处理日期时间 处理日期时间,将方便您对日志后续查询与可视化展示。本文档主要介绍使用函数进行日期时间数据类型转换和日期时间偏移。 概念解释 数据类型转换和转换函数 日期时间对象和Unix时间戳的相互转换 日期时间字符串和Unix时间戳的相互转换 日期时间对象和日期时间字符串的相互转换
定义。 执行成功后,配置的日志组日志流里可以查看到该条日志。 或登录syslog汇聚服务器,查看/var/log/messages中是否存在testremotelog日志。 tail -f /var/log/messages 图5 查看是否存在testremotelog日志 通过
关键词搜索、模糊搜索、快速分析 ☆☆☆☆☆ ☆☆☆☆☆ ELK和LTS:提供类似的日志关键词搜索能力。 实时日志查看 ☆☆☆☆☆ 无 ELK:未提供实时日志查看页面。 LTS:提供实时日志查看页面。 百亿日志秒级搜索 ☆☆☆☆☆ ☆☆ ELK:自建ELK受限于机器资源数量,搜索海量日志时耗时较长。
I码和GB2312编码的扩展。 采集策略 采集策略支持增量或全量。 增量采集:ICAgent采集新文件时,从文件的末尾开始读。 全量采集:ICAgent采集新文件时,从文件的开头开始读。 自定义元数据 关闭“自定义元数据”,使用ICAgent系统默认配置的字段上报到LTS,不需要
图表0的查询语句:$event.annotations.results[0].sql 图表0的查询时间:$event.annotations.results[0].time 图表0的查询URL:$event.annotations.results[0].url 图表0的查询日志:$event
I码和GB2312编码的扩展。 采集策略 采集策略支持增量或全量。 增量采集:ICAgent采集新文件时,从文件的末尾开始读。 全量采集:ICAgent采集新文件时,从文件的开头开始读。 自定义元数据 关闭“自定义元数据”,使用ICAgent系统默认配置的字段上报到LTS,不需要
预览完成后,单击“提交”,等待创建日志接入成功。 配置接入完成。 配置完成后,数据将会在1小时内完成同步,请您耐心等待。 当接入多个日志流时,单击“返回接入配置列表”可查看日志接入列表。 当接入单个日志流时,单击“返回接入配置列表”可查看日志接入列表;单击“查看日志流”可查看已接入的日志详情。 父主题: 日志接入
后尝试触发上报日志,观察实时日志页面是否自动刷新出数据,若有日志,则代表上报成功。若长时间无数据,请按如下步骤排查ICAgent。 检查ICAgent状态。 在云日志服务控制台的左侧导航栏选择“主机管理 > 主机”,在主机页面查看主机的“ICAgent状态”显示是否正常。 “IC
中间件-Flink日志 Flink是一个大数据处理引擎的处理框架,是针对流进行的处理。它是Apache旗下的一个框架和分布式的处理引擎,用于对无界和有界的数据进行状态的计算。Flink的核心特点包括高吞吐、低延迟(每秒处理数百万个事件,毫秒级延迟),以及结果的准确性(Flink提
参数名称 数据类型 是否必填 说明 ist_string List 是 传入一个列表。 location Int 是 从0开始计数,传入数字。例如数据为["a","b","c"],对应获取的元素位置分别为0,1,2。 返回结果 返回列表的其中一个元素。 函数示例 测试数据 {
LTS配置日志接入后多久有日志? 通过ICAgent接入LTS后无法采集到日志? 日志搜索与分析 查看LTS实时最新日志,每一次加载数据时延是多久? 无法查看上报到LTS的日志怎么办? 在LTS控制台如何手动删除日志数据? 在LTS页面无法搜索日志时怎么办? 日志转储 日志转储后,LTS会删除转储的日志内容吗?