检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Management,简称AOM1.0)是云上应用的一站式立体化运维管理平台,实时监测您的应用及相关云资源,分析应用健康状态,提供灵活丰富的数据可视化功能,帮助您及时发现故障,全面掌握应用、资源及业务的实时运行状况。 应用运维管理(Application Operations Management,简称AOM2
FlinkLtsLogProducer用于将数据写到云日志服务中。 producer只支持Flink at-least-once语义,在发生作业失败的情况下,写入云日志服务中的数据有可能会重复,但是绝对不会丢失。 用法示例如下,我们将模拟产生的字符串写入云日志服务: // 将数据序列化成日志服务的数据格式
选择目标字段,将该字段在表格中隐藏。 表格配置 每页显示 每页显示的数据条数。 显示总数 显示表格数据的总条目数。 列配置 对齐方式 表格数据的对齐方式,支持左对齐,右对齐以及居中。 开启搜索 开启后,即可对表格列数据进行搜索功能。 开启排序 开启后,即可对表格列数据进行排序功能。 字体大小 表格字体的大小,取值范围为12px~24px
志流的数据。 一个日志流只能创建5个消费组。 一个消费组可以被多个消费者消费,每个消费者不会重复消费数据。 同一个租户(Project_Id)下,消费组名称唯一。 消费者 消费组的基本构成单元,承担消费任务,可以根据您的服务自行决定消费者数量。 Shard 云日志服务将数据必定保
全局操作函数 映射富化函数 字段值提取函数 字段操作函数 事件操作函数 流程控制函数 父主题: DSL数据加工语法(邀测)
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题: DSL数据加工语法(邀测)
已创建的集群名称。 test 数据库名称 集群的数据库名称。有两种数据库,分别是“gaussdb”和“postgres”。默认集群数据库为“gaussdb”。 gaussdb 用户名 数据库的管理员用户名。 lts-test 密码 数据库的管理员密码。 - schema名称 数据库对象的集合名称。
用等多类端侧日志无法快速采集。 数据传输不可靠:移动端日志数据量多且频繁,传输速度慢,也极易出现丢失,对业务分析造成一定影响。 数据处理不方便:原始数据不方便处理,不方便快速与大数据平台实现对接。 云日志服务LTS支持采集多种移动端日志,融合大数据完成业务运营分析,基于LTS可以实现:
的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 用户使用Flume系统采集日志,并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例: 使用Flume采集文本日志上报到LTS
的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 用户使用Flume系统采集日志,并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例: 使用Flume采集文本日志上报到LTS
数示例等。 函数列表 表1 类型转换函数 函数 描述 cast函数 将值从一种数据类型转换为另一种数据类型,并将数据类型提供给动态参数。 cast函数 将值从一种数据类型转换为另一种数据类型,并将数据类型提供给动态参数。 在允许表达式的任何地方都允许使用铸造表达式。 语法:CAST(Expression
采集第三方云厂商、互联网数据中心、华为云其他Region云主机日志到LTS 方案概述 云上用户经常会遇到多云或者跨Region采集日志的场景,典型场景有两种,分别是: 场景一:将互联网数据中心(Internet Data Center,以下简称IDC)或者第三方云厂商的日志采集到华为云LTS。
test_case id: 7892 content: this is a log test } 父主题: 使用DSL加工函数清洗LTS日志数据
数、IP解析函数中的ip_cidrmatch函数删除内网日志。 更多加工语法请参考DSL数据加工语法(邀测)。 在“测试数据”页签输入测试数据,参考如下:(以下示例仅供参考,请以实际上报的数据为准) 模拟测试时需要将srcaddr的值改为公网IP。 { "content": "1
示例1:将k2满足正则表达式,输出到target2中。 测试数据 { "k1": "v1", "k2":"v2", "x1":"v3" , "x5": "v4" } 加工规则 此处e_drop()函数的作用是把e_if()函数过滤掉的数据做删除处理。如果不添加该函数,则被过滤的数据被投递到默认的存储目标中。创
云日志服务可以帮助您快捷地完成数据采集、消费、投递以及查询分析,提升运维和运营效率,建立海量日志处理能力。 LTS-Flink-Connector工具支持以下表1。 表1 功能说明 功能 说明 支持类型 源表和结果表 运行模式 仅支持流模式 API种类 SQL 是否支持更新或删除结果表数据 不支持更新和删除结果表数据,只支持插入数据。
采集第三方云厂商、互联网数据中心、华为云其他Region的Kubernetes日志到LTS 方案概述 云上用户经常会遇到多云或者跨Region采集Kubernetes日志场景,典型场景有两种,分别是: 场景一:将互联网数据中心(Internet Data Center,以下简称I
offset ] 数据类型 SQL查询中支持的数据类型如表1。如果当前字段数据类型需要改为其他数据类型,我们会进行数据类型的转换。例如STRING类型的字段转为LONG类型。字段数据类型转换之后的结果将会显示默认值,如STRING类型的数据转换为LONG类型的数据,结果会显示为LO
当ELB日志接入云日志服务后,您可以通过SQL语句查询分析日志,将日志结果保存为多种图表,并将图表保存至仪表盘,从而使用仪表盘实时分析ELB日志数据。 前提条件 已采集ELB日志,具体操作,请参见ELB接入。 已对日志内容完成结构化配置,具体操作请参考结构化配置。 限制条件 一个日志流最多可创建100个图表。
设置显示数值小数点位数。 图表名称字号 设置图表名称的字号大小。 查询分析设置 X轴数据 支持数字或字符串数据。 Y轴数据 支持数字或字符串数据,可以选择多个数据。 维度列 请从下拉列表中选择,一般为有序数据类别。 趋势对比 当X轴为时间数据时,且不设置维度列时,可开启该按钮。 开启后,设置比较对象时间