检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LTS-Flink-Connector参数说明 云日志服务可以帮助您快捷地完成数据采集、消费、投递以及查询分析,提升运维和运营效率,建立海量日志处理能力。 LTS-Flink-Connector工具支持以下表1。 表1 功能说明 功能 说明 支持类型 源表和结果表 运行模式 仅支持流模式
ServiceStage云主机日志接入LTS 云日志服务(Log Tank Service,简称LTS)用于收集来自ServiceStage云主机的日志数据,通过海量日志数据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供实时、高效、安全的日志处理能力,帮助您快
中间件-Flink日志 Flink是一个大数据处理引擎的处理框架,是针对流进行的处理。它是Apache旗下的一个框架和分布式的处理引擎,用于对无界和有界的数据进行状态的计算。Flink的核心特点包括高吞吐、低延迟(每秒处理数百万个事件,毫秒级延迟),以及结果的准确性(Flink提
列表函数 本文介绍列表函数的语法规则,包括参数解释、函数示例等。 函数列表 函数 说明 lst_make 构建列表。 lst_insert 在列表特定位置插入元素。 lst_append 在列表结尾追加元素。 lst_delete_at 在列表特定位置删除元素。 lst_reverse
ServiceStage容器应用日志接入LTS 云日志服务(Log Tank Service,简称LTS)用于收集来自ServiceStage容器应用的日志数据,通过海量日志数据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供实时、高效、安全的日志处理能力,帮助
服务韧性 LTS服务提供了3级可靠性架构,通过AZ内实例容灾、双AZ容灾、日志数据多副本技术方案,保障服务的持久性和可靠性。 表1 LTS服务可靠性架构 可靠性方案 简要说明 AZ内实例容灾 单AZ内,LTS实例通过多实例方式实现实例容灾,快速剔除故障节点,保障LTS实例持续提供服务。
日志搜索与分析概述 日志搜索与分析是运维中不可或缺的一环。日志接入成功后,云日志服务(LTS)支持对采集成功的日志数据进行搜索与分析。通过合理的日志收集、高效的搜索方法和专业的分析工具,可以实现对系统或应用的全面监控和精细化管理。 执行搜索与分析前,需要将上报的日志进行结构化配置
日志生成指标(邀测) 支持创建日志指标规则,将上报到LTS的日志数据提取为指标来统一管理,便于后续在应用运维管理控制台的指标浏览、仪表盘界面实时查看数据。 背景信息 用户在LTS页面只需按照业务需要创建指标规则即可生成自己的统计报表,设置单个日志过滤条件或通过添加关联关系和添加组
配置日志告警规则 LTS支持对日志流中的日志数据进行关键词告警、SQL告警、搜索分析告警,通过设置告警规则,实时监控服务运行状态。目前每个账号最多可以创建关键词告警与SQL告警共200个。 支持批量创建多个告警规则,请参考创建多个告警规则。 前提条件 已创建日志组、日志流,请参考管理日志组和管理日志流。
LTS柱状图 柱状图是使用垂直或水平的柱子显示类别之间的数值比较,用于描述分类数据,并统计每一个分类中的数量。 云日志服务(LTS)提供的柱状图,有垂直柱子和水平柱子,矩形块宽度一定,高度代表数值大小。有多列数据映射到Y轴时,采用分组柱状形式显示。 默认采用垂直柱子,您可以根据自己的需要进行选择。基本构成如下:
使用前必读 欢迎使用云日志服务(Log Tank Service,简称LTS)。LTS用于收集来自主机和云服务的日志数据,通过海量日志数据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供一个实时、高效、安全的日志处理能力,帮助您快速高效地进行实时决策分析、设备运维管理、用户业务趋势分析等。
场景三:删除和重命名字段(e_drop_fields函数和e_rename函数) 一般情况下,推荐您使用e_compose函数进行多个函数的组合操作。 示例如下所示: 原始日志 {"content":"123", "age":23, "name":"twiss", "IdNumber":1
查看LTS告警列表 云日志服务支持对日志数据进行监控,通过配置关键词告警规则或sql告警规则,定时查询日志数据。当设置的匹配条数或条件表达式满足时,将告警进行上报,用户可以在LTS控制台查看告警。 前提条件 已创建告警规则。 查看告警 登录云日志服务控制台。 左侧导航选择“日志告警”。
进入搜索LTS日志页面 当您配置完成日志结构化解析和索引后,就可以通过输入搜索语句,在日志数据中查找包含特定关键词的日志记录。或者根据时间范围来检索日志数据,帮助您定位特定时间段内发生的事件和问题。 搜索语句用于指定日志查询时的过滤规则,返回符合条件的日志。搜索语句可以为关键词、数值、数值范围、空格、星号(*)等。
场景二:使用e_set函数为日志空缺字段赋值 您可以使用e_set函数为日志空缺字段赋值。 场景1:原字段不存在或者为空时,为字段赋值。 e_set("result", "......value......", mode="fill") 示例如下所示: 原始日志 { "name":""
日志管理概述 云日志服务LTS是以日志组和日志流为基本单位进行日志管理。使用云日志服务LTS之前,请先创建日志组和日志流。创建日志组后,可以在该日志组下方创建多个日志流,方便对日志做进一步分类管理。创建日志流后,您可以将日志数据采集保存到日志流上,通过日志流对日志数据进行搜索分析
解析CSV格式日志 本文档介绍在解析Syslog或者其他文本格式时,针对数据中以特殊字符分隔的格式如何进行解析。 解析正常形式的CSV格式日志 原始日志: { "program":"access", "severity":6, "priority":14, "facility":1
窗口函数 本文介绍窗口函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 窗口函数 函数 描述 ntile函数 用于将窗口分区内数据按照顺序分成N组。 ntile函数 用于将窗口分区内数据按照顺序分成N组。 语法: ntile(n) over ( [partition
场景五:使用default传参为日志不存在的字段填充默认值 原始日志 { "content": "this is a log" } 加工规则: e_if(e_not_has("type"), e_set("type", "log")) 加工结果 { "type": "log"
场景四:转换日志参数类型(v函数、cn_int函数和dt_totimestamp函数) 场景1:调用op_add函数进行字符拼接和数据相加。 op_add函数既可以接收字符串类型,也可以接受数值类型,因此不需要做参数类型转换。 示例如下所示: 原始日志 { "a":"1"