检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Kafka数据均衡工具 操作场景 该任务指导管理员根据业务需求，在客户端中执行Kafka均衡工具来均衡Kafka集群的负载，一般用于节点的退服、入服以及负载均衡的场景。 前提条件 MRS集群管理员已明确业务需求，并准备一个Kafka管理员用户（属于kafkaadmin组，普通模式不需要）。
Flink性能调优建议 Hudi MOR流表开启log Index特性提升Flink流读Mor表性能 Hudi的Mor表可以通过log index提升读写性能，在Sink和Source表添加属性 'hoodie.log.index.enabled'='true'。 通过调整对应算子并行度提升性能
使用多级agent串联从本地采集静态日志保存到HDFS 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录“/flume/test”。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。
使用多级agent串联从本地采集静态日志保存到HDFS 操作场景 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录“/flume/test”。 本章节适用于MRS 3.x及之后版本。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已
运行Flink作业 用户可将自己开发的程序提交到MRS中，执行程序并获取结果，本章节指导您如何在MRS集群中提交一个Flink作业。 Flink作业用于提交jar程序处理流式数据。 用户可以在MRS管理控制台在线创建一个作业并提交运行，也可以通过MRS集群客户端来以命令行形式提交作业。
使用Kafka流控工具限制生产消费速度 操作场景 该任务指导用户根据业务需求，在客户端使用命令行工具kafka-configs.sh来管理Kafka集群的配置，按照不同的级别（topic级别、用户级别、客户端级别等）来限制Kafka消息生产和消费速度。 该功能仅适用于MRS 3.3
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现，它底层使用了Spark SQL来处理SQL语句，从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口，用户可以通过JDBC连接JDBCServ
准备Spark本地应用开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
Spark ThriftServer接口介绍 简介 ThriftServer是Hive中的HiveServer2的另外一个实现，它底层使用了Spark SQL来处理SQL语句，从而比Hive拥有更高的性能。 ThriftServer是一个JDBC接口，用户可以通过JDBC连接Th
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现，它底层使用了Spark SQL来处理SQL语句，从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口，用户可以通过JDBC连接JDBCServ
准备Spark本地应用开发环境 Spark2x可以使用Java/Scala/Python语言进行应用开发，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。
Kafka高可靠使用说明 Kafka高可靠、高可用说明 Kafka消息传输保障机制，可以通过配置不同的参数来保障消息传输，进而满足不同的性能和可靠性要求的应用场景。 Kafka高可用、高性能 如果业务需要保证高可用和高性能，可以采用参数： 参数 默认值 说明 unclean.leader
导入并配置SpringBoot样例工程 操作场景 为了运行MRS产品Hive组件的SpringBoot接口样例代码，需要完成下面的操作。 该章节以在Windows环境下开发SpringBoot方式连接Hive服务的应用程序为例。 该章节内容适用于MRS 3.3.0及之后版本。 操作步骤
ALM-12066 节点间互信失效 告警解释 系统每一个小时检查一次主OMS节点和其他Agent节点间的互信是否正常，如果存在互信失效的节点，则发送告警。待问题修复，该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除 12066 重要 是 告警参数 参数名称 参数含义
迁移Kafka节点内数据 操作场景 用户可以根据业务需求，通过Kafka客户端命令，在不停止服务的情况下，进行节点内磁盘间的分区数据迁移。也可以通过KafkaUI进行分区迁移。 前提条件 MRS集群管理员已明确业务需求，并准备一个Kafka用户（属于kafkaadmin组，普通模式不需要）。
Doris慢查询语句监控 操作场景 Doris作为一个ROLAP模式的数据库，底层需依赖强大的关系型数据库引擎作为支撑。高并发、聚合查询等是常见的查询场景，但由于MRS Doris不支持慢查询管理，缺少运维监控能力，在实际问题定界过程中无法可视化地获取查询SQL的执行信息。因此需
快速使用Flume采集节点日志 操作场景 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络，使日志生成节点与流集群互通。 使用Flume客户端（MRS 3.x之前版本）
配置Ranger元数据存储至RDS 本章节旨在指导用户将现有集群的Ranger元数据切换为RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据，且元数据不随集群的删除而删除，也能够避免集群迁移时Ranger元数据的迁移。 停用集群组件Ranger鉴权 该操作仅在MRS
准备Flink应用安全认证 MRS服务集群开启了Kerberos认证需要执行以下步骤，没有开启Kerberos认证的集群忽略该步骤。 在安全集群环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在提交Flink应用程序时，需要
快速使用Flume采集节点日志 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络，使日志生成节点与流集群互通。 使用Flume客户端 普通集群不需要执行2-6。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
