检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LTS表格 表格作为最常见的数据展示类型,是组织整理数据最基本的手段,通过对数据的整理,达到快速引用和分析的目的。通过查询分析语法得到的数据结果默认以表格方式进行展示。 查看表格 登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择目标日志组和日志流,进入日志流详情页面。
统计图表概述 日志上报LTS后,支持通过SQL分析语法搜索关键日志数据,并将查询结果通过统计图表的方式进行可视化展示,帮助用户更容易地理解日志数据之间的变化。用户还可以将图表分析结果保存到仪表盘,进行长期监控。 约束与限制 一个日志流最多可创建100个图表。 一个仪表盘最多可添加50个图表。
环境。 首次使用ES时需要安装对应ES版本的python数据包,本次方案测试使用的elasticsearch为7.10.1版本。 pip install elasticsearch==7.10.1 方案测试使用的ES为华为云CSS服务创建的ES。 执行用来构造索引数据的pytho
原始日志 { "name":"" } 加工规则 e_set("name", "Apache 2.0", mode="fill") 加工结果 { name:Apache 2.0 } 场景2:为多个字段赋值。 e_set("k1", "v1", "k2", "v2") 示例如下所示:
表3 查询分析结果 类型 场景1 场景2 查询语句 LPAD('hello world', 10) LPAD('hello', 10, 'e') 返回结果 hello worl eeeeehello rpad函数 在字符串的结尾填充指定字符,直到指定长度后返回结果字符串。如果未指定填充字符,则使用“
batchCountThreshold:4096 lingerMs:2000 按照参数基线值设置后,使用8U16GB的机器规格测试,上报单条日志大小为1KB。 测试结果:SDK上报日志的数据量为60MB/s,速率为6w条/s。 当日志上报量超过单个producer时: 建议拆分日志流,使
batchCountThreshold:4096 lingerMs:2000 按照参数基线值设置后,使用8U16GB的机器规格测试,上报单条日志大小为1KB。 测试结果:SDK上报日志的数据量为10MB/s,速率为1.2w条/s。 当日志上报量超过单个producer时: 建议拆分日志流
"is_analysis" : false, "type" : "string" }, { "content" : "13测试", "field_name" : "field7", "index" : 6, "is_analysis"
安装在自建IDC/第三方云厂商/跨华为云Region的ICAgent无法直接访问华为云管理面上报日志的网段,需要配置跳板机进行数据转发;当您在进行POC测试,或者日志流量并不大的情况下,可以使用跳板机的方案。对于大流量的日志场景,如果您希望在生产环境中去掉跳板机,请提交工单给华为云网络技术支持工程师帮您设计网络直通的方案。
查询日志直方图 功能介绍 查询关键词搜索条数该接口用于查询日志在某一时间段内,包含关键词的日志上报情况和日志条数统计结果。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/lts/keyword-count 表1 路径参数 参数 是否必选 参数类型
功能介绍 该接口用于查询指定日志流下的结构化日志内容(新版)。 新版查询功能支持的局点信息请参考用户指南-日志可视化里的可视化章节。数据聚合结果不超过100亿条。仅支持分析最近30天内的数据,30天以上的数据不支持SQL分析。如您有更大的使用需求,请提工单申请。 调用方法 请参见如何调用API。
和分布式的处理引擎,用于对无界和有界的数据进行状态的计算。Flink的核心特点包括高吞吐、低延迟(每秒处理数百万个事件,毫秒级延迟),以及结果的准确性(Flink提供了时间事件(event-time)和处理事件(processing-time)语义)。 Flink 的系统日志通常包含了关于
个日志过滤条件或通过添加关联关系和添加组设置多个日志过滤条件,保留符合条件的日志,对用户特定时间范围内已结构化的日志进行动态统计,并将统计结果动态呈现到aom的Prometheus实例,操作简单且功能强大。 前提条件 已创建日志生成指标,详情请参见日志生成指标(邀测)。 日志配置
安装在自建IDC/第三方云厂商/跨华为云Region的ICAgent无法直接访问华为云管理面上报日志的网段,需要配置跳板机进行数据转发;当您在进行POC测试,或者日志流量并不大的情况下,可以使用跳板机的方案。对于大流量的日志场景,如果您希望在生产环境中去掉跳板机,请提交工单给华为云网络技术支持工程师帮您设计网络直通的方案。
定函数(中国地图:ip_to_province函数,世界地图:ip_to_country函数)后,云日志服务(LTS)将以地图形式展示分析结果。 基本构成如下: 地图画布 色块 查看地图 登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面
_time_ 饼图 根据以下语句查询结果绘制饼图,类目选择"status",数据选择"rm",表示查询时间段内status不同值的占比。 SELECT status, COUNT(1) AS rm GROUP BY status 数字图 根据以下语句查询结果绘制数字图,查看最近一小时一共有多少次正常的请求。
LTS搜索语法介绍 云日志服务(LTS)提供一套搜索语法用于设置搜索条件和指定日志查询时的过滤规则,从而筛选日志中满足条件的记录,筛选结果可以用于分析语句,进行更复杂的分析处理。 为了快速了解并使用搜索语法,建议您了解以下信息:搜索方式、短语搜索、运算符、搜索语句示例。 使用搜索
表1 版本更新说明 版本号 下载地址 更新说明 系统 0.0.3 单击下载 将SDK写入和上报日志逻辑迁移到子线程,添加代码混淆与单元测试用例。 HarmonyOS NEXT及以上。 0.0.2 单击下载 将日志状态存入数据库。 HarmonyOS NEXT及以上。 0.0.1
统计图表 统计图表是云日志服务根据SQL查询语法渲染出的结果,包括表格、柱状图、折线图等多种图表类型,详细请参考使用统计图表将日志可视化。 仪表盘 仪表盘是云日志服务提供的实时数据分析大盘。您可以在仪表盘查看多个基于SQL语句查询分析结果的统计图表,并能将多张统计图表同步保存到仪表盘中。详细请参考使用仪表盘将日志可视化。
设置LTS日志索引配置 索引是一种存储结构,用于对日志数据进行查询。通过配置索引后,可对日志进行查询和分析操作。不同的索引配置,则会产生不同的查询和分析结果,请根据您的需要,合理配置索引。 索引类型 云日志服务LTS支持全文索引和字段索引,详细请参考表1。 表1 索引类型 索引类型 说明 全文索引