检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink Join样例程序开发思路 场景说明 假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程序实现功
Kafka应用开发简介 Kafka简介 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性,主要用于处理活跃的流式数据。 Kafka有很多适用的场景:消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点:
Flink Join样例程序开发思路 场景说明 假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程序实现功
IoTDB基本原理 IoTDB(物联网数据库)是一体化收集、存储、管理与分析物联网时序数据的软件系统。 Apache IoTDB采用轻量式架构,具有高性能和丰富的功能。 IoTDB从存储上对时间序列进行排序,索引和chunk块存储,大大的提升时序数据的查询性能。通过Raft协议,
Flink Join样例程序开发思路 场景说明 假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程序实现功
Flink Join样例程序开发思路 场景说明 假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程序实现功
Kafka数据消费概述 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控
参数解释: 实际作业编号。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 tracking_url String 参数解释: 日志链接地址。当前仅SparkSubmit作业支持该参数。该参数基于集群的EIP访问集群中的YARN WebUI页面,用户如果在VPC界面解绑EIP,
MRS集群节点如何进行操作系统漏洞升级 用户问题 EulerOS系统底层存在漏洞时,MRS集群如何进行操作系统漏洞升级? 问题现象 在使用安全软件测试集群时,发现有EulerOS系统底层存在漏洞。 原因分析 MRS集群内服务部署在EulerOS系统中,因此需要进行漏洞升级。 处理步骤
MRS可靠性增强 MRS在基于Apache Hadoop开源软件的基础上,在主要业务部件的可靠性、性能调优等方面进行了优化和提升。 系统可靠性 管理节点均实现HA Hadoop开源版本的数据、计算节点已经是按照分布式系统进行设计的,单节点故障不影响系统整体运行;而以集中模式运作的
数介绍。 表1 参数说明 参数 说明 --connect 指定JDBC连接的URL,格式为:jdbc:mysql://MySQL数据库IP地址:MySQL的端口/数据库名称。 --username 连接MySQL数据库的用户名。 -password 连接MySQL数据库的用户密码
SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用streamBulkPut接口将流数据写入HBase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在hb
SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用streamBulkPut接口将流数据写入HBase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在hb
ALM-45448 ClickHouse使用Znode数量增长速率过快 本章节仅适用于MRS 3.3.1及之后版本。 告警解释 Clickhouse中元数据信息会存储在Zookeeper上,因此会占用Znode,但是在业务无大的变动的场景下,Znode占用数出现持续陡增,两小时增
配置Windows通过EIP访问普通模式集群HBase 操作场景 该章节通过指导用户配置集群绑定EIP,并配置HBase文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行hbase-example中的样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并
典型场景:从关系型数据库导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。
Kafka应用开发简介 Kafka简介 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性,主要用于处理活跃的流式数据。 Kafka有很多适用的场景:消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点:
Kafka应用开发简介 Kafka简介 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性,主要用于处理活跃的流式数据。 Kafka有很多适用的场景:消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点:
使用Loader从HBase导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从HBase导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取关系型数据库使用的用户和密码。
使用Loader从Hive导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从Hive导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。