检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据保护技术 数据完整性 通过数据校验，保证数据在存储、传输过程中的数据完整性。 MRS的用户数据保存在HDFS中，HDFS默认采用CRC32C算法校验数据的正确性，同时也支持CRC32校验算法，CRC32C校验速度快于CRC32。HDFS的DataNode节点负责存储校验数据，
准备Kafka应用安全认证 前提条件 MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 准备认证机制代码 在开启Kerberos认证的环境下，各个组件之间的相互通信不能够简单地互通，而需要在通信之前进行相互认证，以确保通信的安全性。Kafk
准备本地应用开发环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK
准备Spark应用开发用户 前提条件 MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作场景 开发用户用于运行样例工程。用户需要有HDFS、YARN和Hive权限，才能运行Spark样例工程。 操作步骤 登录MRS Manager，请参考登录MRS
添加MRS组件自定义参数 MRS集群内各个大数据组件通常支持开源社区的所有参数，其中部分常用场景的配置参数支持在MRS管理控制台或者Manager中进行修改，且部分组件的客户端可能不包含开源特性的所有参数。 如果需要修改或者添加界面中未包含的配置参数，用户可以通过自定义配置项功能
在Linux环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。
安装客户端时编译并运行HBase应用 HBase应用程序支持在安装HBase客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至Linux环境中运行应用。 前提条件 已安装HBase客户端。 Linux环境已安装JDK，版本号需要和Eclipse导出Jar包使用的JDK版本一致。
运行SparkStreamingKafka样例工程时报“类不存在”问题 问题 通过spark-submit脚本提交KafkaWordCount（org.apache.spark.examples.streaming.KafkaWordCount）任务时，日志中报Kafka相关的类
ALM-14004 损坏的HDFS块数量超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测损坏的块数量，并把损坏的块数量和阈值相比较。损坏的块数量指标默认提供一个阈值范围。当检测到损坏的块数量超出阈值范围时产生该告警。 当损坏的块数量小于或等于阈值时，告警恢复。建议使用命令（hdfs
快速开发HDFS应用 HDFS（Hadoop Distribute FileSystem）是一个适合运行在通用硬件之上，具备高度容错特性，支持高吞吐量数据访问的分布式文件系统，非常适合大规模数据集应用。 HDFS适用于如下场景： 处理海量数据（TB或PB级别以上） 需要很高的吞吐量
运行SparkStreamingKafka样例工程时报“类不存在”问题 问题 通过spark-submit脚本提交KafkaWordCount（org.apache.spark.examples.streaming.KafkaWordCount）任务时，日志中报Kafka相关的类
运行SparkStreamingKafka样例工程时报“类不存在”问题 问题 通过spark-submit脚本提交KafkaWordCount（org.apache.spark.examples.streaming.KafkaWordCount）任务时，日志中报Kafka相关的类
Spark应用开发环境简介 在进行应用开发时，要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。 表1 开发环境 准备项 说明 安装JDK 开发环境的基本配置。版本要求：1.7或者1.8。 说明： 基于安全考虑，MRS 服务端只支持TLS
准备本地应用开发环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统。 运行环境：Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下：
YARN HA方案介绍 YARN HA原理与实现方案 YARN中的ResourceManager负责整个集群的资源管理和任务调度，在Hadoop2.4版本之前，ResourceManager在YARN集群中存在单点故障的问题。YARN高可用性方案通过引入冗余的ResourceMa
MRS安全增强 MRS作为一个海量数据管理和分析的平台，具备高安全性。MRS主要从以下几个方面保障用户的数据和业务运行安全。 网络隔离 整个系统部署在公有云上的虚拟私有云中，提供隔离的网络环境，保证集群的业务、管理的安全性。结合虚拟私有云的子网划分、路由控制、安全组等功能，为用户提供高安全、高可靠的网络隔离环境。
HBase访问多个ZooKeeper样例程序 功能简介 在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper，其中HBase客户端访问FusionInsight ZooKeeper，客户应用访问第三方ZooKeeper。 代码样例
HBase访问多个ZooKeeper样例程序 功能简介 在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper，其中HBase客户端访问FusionInsight ZooKeeper，客户应用访问第三方ZooKeeper。 代码样例
准备连接集群配置文件 准备集群认证用户信息 对于开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。 以下Flink权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“系统 > 权限
MRS应用开发认证失败常见问题 现象描述 MRS样例工程调试运行过程发现认证失败。 处理流程 出现认证失败的原因很多，在不同场景中建议参考以下步骤来排查： 确认本应用所运行设备和集群网络上是否通畅，Kerberos认证所需的各类端口（TCP/UDP）是否可正常访问。 确认各个配置
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
