MAPREDUCE服务 MRS-MRS 3.1.0补丁说明:安装完成后必须的手动操作
安装完成后必须的手动操作
- 支持HDFS单副本检测能力
MRS 3.1.0.0.2补丁以及之后的补丁中,会增加HDFS单副本检测和告警能力,新增是否允许写入单副本数据配置项dfs.single.replication.enable,对于新建集群该值配置为false,因为HDFS单副本并不属于MRS服务SLA保障范围; 但是对于存量集群,为了考虑兼容性,补丁安装完成后dfs.single.replication.enable配置项值为true,保证客户业务不受影响,建议补丁完成后对于没有单副本诉求时手动修改为false后滚动重启HDFS服务,保证HDFS数据的高可靠; 对于确定存在单副本诉求的文件也可通过dfs.single.replication.exclude.pattern配置项设置单副本的数据文件和目录。
- MRS 3.1.0.0.1版本的补丁安装/卸载完成后需要在 FusionInsight Manager Web界面上同步集群配置,重启ClickHouse、Flink、Hadoop、HDFS、Hue、Kudu、meta、Presto、Spark2x、Yarn、DBService、Flume、HBase、Hive、Impala、MapReduce、Oozie、Ranger和Sqoop服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。
- MRS 3.1.0.0.8版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启ClickHouse、Flink、Hadoop、HDFS、Hue、Kafka、MapReduce、Oozie、Ranger、Sqoop、Yarn、DBService、Flume、HBase、Hive、Impala、Kudu、meta、Presto、Spark2x、Tez和ZooKeeper服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。
- MRS 3.1.0.0.9版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启Hadoop、HDFS、MapReduce、Yarn和Hive服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。
- MRS 3.1.0.0.10版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启HDFS、MapReduce、Yarn和Spark2x服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。
- MRS 3.1.0.0.11版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启HDFS、MapReduce、Yarn、Spark2x、Hive、ClickHouse和Hue服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。
- MRS 3.1.0.0.12版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启HBase和ClickHouse服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。
- MRS 3.1.0.0.15版本的补丁安装/卸载完成后需要在FusionInsight Manager Web界面上重启HDFS、MapReduce、Yarn、Impala、Kudu、Spark和Hive服务,以使补丁功能生效。组件重启期间,部分业务可能短暂不可用。请选择适当的时间进行重启,以降低对业务持续性的影响。
重启组件的范围,是以补丁依次升级给定的范围,即如果是从MRS 3.1.0.0.7打补丁升级到MRS 3.1.0.0.8,需要重启MRS 3.1.0.0.8补丁的组件;如果是跨版本升级的,则需要重启的组件范围是各补丁的合集。
- MRS 3.1.0版本如果安装了Spark服务,需要在补丁安装完成后在主oms节点执行HDFS上zip包的升级操作:
- 使用root用户,登录集群主节点,执行如下命令:
cd /opt/Bigdata/patches/{MRS补丁版本号}/client/
所有涉及{MRS补丁版本号}目录名称的操作,均以实际安装的补丁号为准。
例如:cd /opt/Bigdata/patches/MRS_3.1.0.0.1/client/
source /opt/Bigdata/client/bigdata_env
- 安全集群需要认证对HDFS有权限的用户,普通集群无需执行:
- 执行升级hdfs上的包:
- (可选)回退(卸载完补丁后执行):
- 升级/回退完成后需要在FusionInsight Manager Web界面上重启Spark的JD BCS erver2x实例。
- 使用root用户,登录集群主节点,执行如下命令:
- 如果有使用人为安装的客户端(集群内、外新下载客户端),需要执行客户端升级或者回退的操作: