检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink应用开发简介 简介 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并
Kafka应用开发建议 同一个组的消费者的数量建议与待消费的Topic下的Partition数保持一致 若同一个组的消费者数量多于Topic的Partition数时，会有多余的消费者一直无法消费该Topic的消息，若消费者数量少于Topic的Partition数时，并发消费得不到完全体现，因此建议两者相等。
Impala开发规则 Hive JDBC驱动的加载 客户端程序以JDBC的形式连接Impalad时，需要首先加载Hive的JDBC驱动类org.apache.hive.jdbc.HiveDriver。 所以在客户端程序开始前，必须先使用当前类加载器加载该驱动类。 如果classp
CarbonData常见配置参数 本章节介绍CarbonData所有常用参数配置的详细信息。 carbon.properties相关参数 根据用户实际使用场景在服务端或者客户端配置CarbonData相关参数。 服务端：登录FusionInsight Manager页面，选择“集群
ClickHouse应用开发简介 ClickHouse简介 ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。 ClickHouse的设计优点： 数据压缩比高 多核并行计算
通过JDBC Catalog对接MySQL/Doris数据源 操作场景 JDBC Catalog支持通过标准JDBC协议连接MySQL、Doris等数据源。本章节以Doris通过JDBC Catalog读取MySQL或Doris数据为例进行演示。 该章节内容仅适用于MRS 3.3
Spark Structured Streaming样例程序（Python） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：
导出Doris数据至HDFS 数据导出（Export）功能可以将用户指定的表或分区的数据，以文本的格式通过Broker进程导出到远端存储上，如HDFS/对象存储（支持S3协议） 等。 不建议一次性导出大量数据。一个Export作业建议的导出数据量最大在几十GB。过大的导出会导致更多的垃圾文件和更高的重试成本。
快速使用Flume采集节点日志 操作场景 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络，使日志生成节点与流集群互通。 使用Flume客户端（MRS 3.x之前版本）
基于binlog的MySQL数据同步到MRS集群中 本章节为您介绍使用Maxwell同步工具将线下基于binlog的数据迁移到MRS Kafka集群中的指导。 Maxwell是一个开源程序（https://maxwells-daemon.io），通过读取MySQL的binlog日
Kafka应用开发简介 Kafka简介 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点：
Kafka应用开发简介 Kafka简介 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点：
Impala开发规则 Hive JDBC驱动的加载 客户端程序以JDBC的形式连接Impalad时，需要首先加载Hive的JDBC驱动类org.apache.hive.jdbc.HiveDriver。 所以在客户端程序开始前，必须先使用当前类加载器加载该驱动类。 如果classp
ALM-14028 待补齐的块数超过阈值 告警解释 系统每30秒周期性检测待补齐的块数量，并把待补齐的块数量和阈值相比较。需补齐的块数量指标默认提供一个阈值范围。当检测到丢失的块数量超出阈值范围时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群名称 > HDFS
Manager基本原理 Manager功能 Manager是MRS的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的性能监控、告警、用户管理、权限管理、审计、服务管理、健康检查、日志采集等功能。 Manager结构 Manager的整体逻辑架构如图1所示。
添加GBase数据源 本章节适用于MRS 3.5.0及之后的版本。 HetuEngine支持配置GBase数据源实现对GBase数据源的接入与查询功能。本章节指导用户在集群的HSConsole界面添加GBase类型的JDBC数据源。 前提条件 数据源与HetuEngine集群节点网络互通。
场景说明 场景说明 在Spark应用中，通过使用StructuredStreaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 数据规划 StructuredStreaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有kafka权限用户）。
导入导出FlinkServer作业信息 本章节适用于MRS 3.2.0及之后的版本。 导入导出作业介绍 FlinkServer WebUI页面支持作业、UDF、流表的导入导出，不支持集群管理、数据连接、应用管理、CheckPoint的导入导出。 当导入时，同一集群内不支持导入同名的作业、同名的流表、同名的UDF。
ALM-24001 Flume Agent异常 告警解释 Flume Agent监控模块对Flume Agent状态进行监控，当Flume Agent进程故障（每5秒检测一次）或Flume Agent启动失败时（即时上报告警），系统产生此告警。 当检测到Flume Agent进程故障恢复，Flume
ALM-17003 Oozie服务不可用 告警解释 系统每5秒周期性检测Oozie服务状态，当Oozie或者Oozie所依赖的组件无法正常提供服务时，系统产生此告警。 当Oozie服务恢复可用状态时，告警自动消除。 告警属性 告警ID 告警级别 是否自动清除 17003 紧急 是
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
