检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
中间件-Flink日志 Flink是一个大数据处理引擎的处理框架,是针对流进行的处理。它是Apache旗下的一个框架和分布式的处理引擎,用于对无界和有界的数据进行状态的计算。Flink的核心特点包括高吞吐、低延迟(每秒处理数百万个事件,毫秒级延迟),以及结果的准确性(Flink提供了时间事件
什么是云日志服务 云日志服务(Log Tank Service,简称LTS)是高性能、低成本、功能丰富、高可靠的日志平台。 提供全栈日志采集、百亿日志秒搜、PB级存储、日志加工、可视化图表、告警和转储等功能,满足应用运维、等保合规和运营分析等应用场景需求。 介绍视频 LTS的核心价值
上报高精度日志接口参考 功能介绍 该接口用于主机上报租户日志给LTS。 接入点IP可在LTS控制台安装ICAgent的安装命令中获取,端口为8102,调用时使用该参数请参见请求示例。 每次上报的时候, 每条日志都必须带一个纳秒级的时间戳。在LTS界面查看日志的时候, 会按照时间戳排序展示在页面上
若所选日志流未配置结构化规则,请先设置云端结构化解析日志。 查询时间:当前所选日志的查询时间,可选项。查询时间(1 ~ 60分钟/1 ~ 24小时),单位为分钟或小时。 查询语句:可视化查询语句,必填项。具体请参考SQL语法查询。
tag_fields 是 Array of TagField objects tag字段列表(使用tag字段解析时需要,其中系统模板不支持使用tag字段)。
tag_fields 是 Array of TagField objects tag字段列表(使用tag字段解析时需要,其中系统模板不支持使用tag字段)。
创建DMS转储前,需要使用kafka ID以及kafka Topic进行实例注册。详情见接口注册DMSkafka实例 kafka_topic 否 String DMS转储kafka topic。当创建DMS转储时,必填此参数。
基本概念 账号 用户注册时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用该用户进行日常管理工作。
日志转储概述 主机和云服务的日志数据上报至云日志服务LTS后,LTS会根据配置的日志存储时间定时清理日志内容。例如日志存储时间为30天,上报到LTS的日志只保存30天,30天后开始删除日志内容。请以创建日志组或日志流时设置的日志存储时间为准,详情请参考管理日志组和管理日志流。超出存储时间的日志数据将会被自动删除
日志配置结构化,详情请参见设置云端结构化解析日志。 查看ELB7层访问中心 登录云日志服务控制台,在左侧导航栏中选择“日志管理”。 在“日志应用”模块中,单击“ELB日志中心”,选择“进入仪表盘”。
KV解析日志:用空格分隔字符串并且转换为Map类型字符串。
日志配置结构化,详情请参见设置云端结构化解析日志。 查看ELB7层访问中心 登录云日志服务控制台,在左侧导航栏中选择“日志管理”。 在“日志应用”模块中,单击“ELB日志中心”,选择“进入仪表盘”。
KV解析日志:用空格分隔字符串并且转换为Map类型字符串。
SQL数学函数 功能描述 数学函数为标量函数中的一种,只支持数值类型的字段,能够实现对数值进行取整、取绝对值、求余等功能,具体请参考表1。 在数学运算中,如果表达式里涉及的操作数皆为整数,那么SQL将会采用整数运算,否则便会切换到浮点运算。您可以将其中一个操作数转换为FLOAT类型来强制进行切换
算术函数 本文介绍算术函数的语法规则,包括参数解释、函数示例等。 函数列表 如果值为负数,请使用op_neg(positive value)函数,例如:要表示-1,请使用op_neg(1)。 表1 算术函数列表 类型 函数 说明 多值计算比较 op_sum 对传入值进行求和操作。
AOM1.0、AOM2.0与LTS分别有什么关系? 应用运维管理(Application Operations Management,简称AOM1.0)是云上应用的一站式立体化运维管理平台,实时监测您的应用及相关云资源,分析应用健康状态,提供灵活丰富的数据可视化功能,帮助您及时发现故障
所用模板名称,会对模板名称及id进行校验 最小长度:1 最大长度:64 template_type 是 String 所用模板类型,分为built_in及custom两种类型,对应系统模板和自定义模板, 详细系统模板类型参考:“用户指南-日志搜索与分析(默认推荐)> 云端结构化解析
API接入概述 您可以通过调用云日志服务LTS提供的REST风格API将日志上报到LTS,具体有上报日志和上报高精度日志两个接口。 以下是两个接口的适用场景和各区域访问IP: 表1 适用场景 API名称 日志时间 举例说明 适用场景 上报日志 用户调用API上传一批日志时,通过log_time_ns
日志可视化概述 云日志服务支持用户使用SQL查询语法对结构化日志进行统计分析,同时将分析结果以图表方式可视化展示,提供多种图表类型,满足不同场景的可视化呈现需求,用于运维和运营分析。 LTS提供40多种开箱即用仪表盘模板、预置样例数据,配置丰富,简单易用,降低使用门槛,减少用户重复开发
日志转储至DIS DIS提供丰富的大数据分析能力,可以将大量日志文件传输到云端做备份,进行离线分析、存储查询及机器学习,还能用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能。您可以根据业务场景选择是否使用DIS进行日志转储。 建议您优先使用转储至