检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Kafka数据安全传输协议 本章节内容适用于MRS 3.x及后续版本。 Kafka API简单说明 Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口，在使用“kafka-console-producer
配置Kafka数据传输加密 操作场景 Kafka客户端和Broker之间的数据传输默认采用明文传输，客户端可能部署在不受信任的网络中，传输的数据可能遭到泄漏和篡改。 该章节仅适用于MRS 3.x及之后版本。 配置Kafka数据传输加密 默认情况下，组件间的通道是不加密的。用户可以配置如下参数，设置安全通道为加密的。
Topic划分为多个Partition，提高并发度，可以由多个Producer、Consumer数目之间的关系并发来读、写消息。Producer根据用户指定的算法，将消息发送到指定的Partition。 消息订阅-通知机制 消费者对感兴趣的主题进行订阅，并采取pull的方式消费数据，使得消费者可以根
OBSA支持流控重试 补丁号：MRS 1.9.0.9 发布时间：2022-08-10 修复问题列表： MRS大数据组件 superior调度器算法优化 补丁号：MRS 1.9.0.8 发布时间：2021-02-20 修复问题列表： MRS大数据组件 增加调用ECS getSecuritykey接口异常的监控
大数据集群的数量和大数据集群功能划分，分析平台业务模型。 各个集群或各个组件分别负责什么业务，处理什么类型的数据。比如实时/离线数据分别使用什么组件处理、数据格式类型、压缩算法等。 集群基本信息收集 表1 集群基本信息 参数 说明 集群名称 - 集群版本 MRS、CDM等集群的版本信息。 节点数及规格 调研现有集群节点数和节点规格。
已使用加密的情况下关闭或者切换加密算法 关闭主要指修改hbase.regionserver.wal.encryption为false，切换主要指AES和SMS4的切换。 操作可能导致服务启动失败，数据丢失。 加密HFile和WAL内容的时候，如果已经使用一种加密算法加密并且已经建表，请不要随意关闭或者切换加密算法。
如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。 新特性和优化 新特性和优化： D系列本地盘单盘故障爆炸半径扩大问题 慢盘/卡IO检测算法优化 MRS支持设备分区丢失告警自动清除能力 解决的问题 解决的问题 Yarn： 解决Yarn资源池可用资源指标异常，导致弹性伸缩触发异常；
IoTDB Session样例程序 功能简介 通过Session连接方式，执行IoTDB SQL语句。 代码样例 下面代码片段仅为演示，具体代码参见“com.huawei.bigdata.SessionExample”。 其中修改HOST_1、HOST_2、HOST_3为IoTD
IoTDB JDBC样例程序 功能简介 通过JDBC连接方式，执行IoTDB SQL语句。 代码样例 下面代码片段仅为演示，具体代码参见“com.huawei.bigdata.iotdb.JDBCExample”类。 其中，在jdbc url里设置待连接的IoTDBServer所
IoTDB Session样例程序 功能简介 通过Session连接方式，执行IoTDB SQL语句。 代码样例 下面代码片段仅为演示，具体代码参见“com.huawei.bigdata.SessionExample”。 其中在Session对象的参数里，设置IoTDBServer所在的节点IP、端口、用户名和密码。
Flink客户端使用实践 本节提供使用Flink运行wordcount作业的操作指导。 使用Flink客户端前提条件 MRS集群中已安装Flink组件。 集群正常运行，已安装集群客户端，例如安装目录为“/opt/hadoopclient”。以下操作的客户端目录只是举例，请根据实际安装目录修改。
使用Keytab文件进行JDBC安全认证 功能简介 使用keytab文件进行JDBC认证。 准备操作 登录FusionInsight Manager，选择“系统 > 权限 > 用户”，下载参考准备MRS应用开发用户准备的开发用户的认证凭据。 代码样例 以下代码片段仅为演示，具体代码参见“com
Flume业务配置指南 本章节适用于MRS 3.x及之后版本。 该操作指导用户完成Flume常用业务的配置。其他一些不太常用的Source、Channel、Sink的配置请参考Flume社区提供的用户手册（http://flume.apache.org/releases/1.9.0
MapReduce REST API接口介绍 功能简介 通过HTTP REST API来查看更多MapReduce任务的信息。目前Mapresuce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用：http://hadoop.apache
配置Flink应用安全认证 场景说明 在安全集群环境下，各个组件之间的相互通信不能够简单地互通，而需要在通信之前进行相互认证，以确保通信的安全性。用户在提交Flink应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交Flink的应用程序中需要设置安全认证，确保Flink程序能够正常运行。
IoTDB JDBC样例程序 功能简介 通过JDBC连接方式，执行IoTDB SQL语句。 代码样例 下面代码片段仅为演示，具体代码参见“com.huawei.bigdata.iotdb.JDBCExample”类。 其中，在jdbc url里设置待连接的IoTDBServer所在的节点IP、端口、用户名和密码。
隔离该节点，否则补丁会安装失败。 新特性和优化 MRS Manager 新增磁盘不可用告警 新增设备分区丢失告警自动清除能力 慢盘/卡io算法优化 慢盘自动隔离机制优化 补丁兼容关系 MRS 1.9.3.10补丁包中已包含所有MRS 1.9.3版本单点问题修复补丁。 安装补丁的影响
使用Keytab文件进行Session安全认证 功能简介 使用Keytab文件进行Session认证。 准备操作 登录FusionInsight Manager，选择“系统 > 权限 > 用户”，下载参考准备MRS应用开发用户准备的开发用户的认证凭据。 代码样例 以下代码片段仅为演示，具体代码参见“com
FlinkIoTDBSource样例程序 功能简介 IoTDB与Flink的集成。此模块包含了iotdb source，通过flink job将时序数据从IoTDB读取出来并且打印。 代码样例 该示例演示了Flink job如何从IoTDB server读取时序数据的场景： Fl
IoTDB Kafka样例程序 功能简介 该样例介绍如何通过Kafka将数据发送到IoTDB。 代码样例 Producer.java： 该样例展示如何将时序数据发送到Kafka集群。 根据实际场景，修改“KafkaProperties.java”文件中的“TOPIC”变量，例如：public
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
