-
安装滚动补丁 - MapReduce服务 MRS
补丁安装后滚动重启服务来完成补丁安装,可以减少对集群业务的影响,但相比普通方式安装耗时更久。 滚动安装补丁功能关闭:补丁安装前会停止服务,补丁安装后再重新启动服务来完成补丁安装,会造成集群和服务暂时中断,但相比滚动方式安装补丁耗时更短。 少于2个Master节点和少于3个Core节点的集群不支持滚动方式安装补丁。
-
使用多级agent串联从本地采集静态日志保存到HDFS - MapReduce服务 MRS
“flume_sChat.jks”是Flume角色服务端的证书库,“flume_sChat.crt”是“flume_sChat.jks”证书的导出文件,“-f”配置项是证书和证书库的密码; “flume_cChat.jks”是Flume角色客户端的证书库,“flume_cChat.crt”是“flume_cChat
-
安装补丁前准备 - MapReduce服务 MRS
集群是否已经安装了MRS 3.2.0-LTS.1.6及之后的任意一个补丁。 是,可以直接安装MRS_3.2.0-LTS.1.9补丁,此时安装MRS_3.2.0-LTS.1.9补丁会提示需要用户输入root密码或者密钥。 否,需要先安装MRS 3.2.0-LTS.1.8补丁,安装完需要重启相关服务,具体请参考MRS
-
安装客户端(3.x及之后版本) - MapReduce服务 MRS
客户端安装目录路径只能包含大写字母、小写字母、数字以及_字符。 卸载客户端请手动删除客户端安装目录。 如果要求安装后的客户端仅能被该安装用户使用,请在安装时加“-o”参数,例如执行./install.sh /opt/hadoopclient -o命令安装客户端。 客户端安装完成后
-
安装MRS 3.x之前版本Flume客户端 - MapReduce服务 MRS
执行以下命令,安装客户端运行环境到新的目录,例如“/opt/Flumeenv”。安装时自动生成目录。 sh /opt/MRS_Flume_ClientConfig/install.sh /opt/Flumeenv 查看安装输出信息,如有以下结果表示客户端运行环境安装成功: Components
-
使用多级agent串联从本地采集静态日志保存到HDFS - MapReduce服务 MRS
“flume_sChat.jks”是Flume角色服务端的证书库,“flume_sChat.crt”是“flume_sChat.jks”证书的导出文件,“-f”配置项是证书和证书库的密码; “flume_cChat.jks”是Flume角色客户端的证书库,“flume_cChat.crt”是“flume_cChat
-
安装在线补丁 - MapReduce服务 MRS
”,等待补丁安装成功。 查看补丁状态,补丁安装完成后,按照补丁说明进行重启组件和安装客户端补丁等操作。 若集群中存在被隔离的主机,集群中被隔离的主机节点不会进行补丁安装,安装完成后补丁状态更新为部分安装成功。隔离节点修复并取消隔离后,可以再次单击“安装”,此时补丁安装仅对取消隔离的节点实施。对于MRS
-
补丁安装后操作 - MapReduce服务 MRS
补丁安装后操作 升级客户端 如果有使用自主安装的客户端(集群内、外新下载客户端),需要执行客户端升级操作。 登录集群主节点并执行以下命令: cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下: scp
-
补丁安装后操作 - MapReduce服务 MRS
补丁安装后操作 升级客户端 如果有使用自主安装的客户端(集群内、外新下载客户端),需要执行客户端升级操作。 登录集群主节点并执行以下命令: cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下: scp
-
安装补丁前准备 - MapReduce服务 MRS
安装补丁前准备 安装补丁前需要手动进行以下相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。
-
Manager日志清单 - MapReduce服务 MRS
distribute.log 证书分发日志 ficertgenetrate.log 证书替换日志,包括生成二级证书、cas证书、httpd证书的日志。 genPwFile.log 生成证书密码文件日志 modifyproxyconf.log 修改HTTPD代理配置的日志 importTar.log
-
安装补丁前必读 - MapReduce服务 MRS
集群中各组件服务正常、各实例正常、无故障、无退服的实例。 安装补丁过程中对现行系统的影响 安装补丁过程中会重启OMS,会导致MRS Manager页面无法访问,预计持续10-20分钟。 安装补丁过程中会影响弹性伸缩以及MRS Manager上正在运行的任务,升级前请确认已经关闭弹性伸缩,并且MRS
-
安装补丁前必读 - MapReduce服务 MRS
集群中各组件服务正常、各实例正常、无故障、无退服的实例。 安装补丁过程中对现行系统的影响 安装补丁过程中会重启OMS,会导致MRS Manager页面无法访问,预计持续10-20分钟。 安装补丁过程中会影响弹性伸缩以及MRS Manager上正在运行的任务,升级前请确认已经关闭弹性伸缩,并且MRS
-
配置从NameNode支持读操作 - MapReduce服务 MRS
对系统的影响 配置从NameNode支持读可以降低主NameNode的负载,提高HDFS集群的处理能力,尤其是在大集群下效果明显。 配置从NameNode支持读需要更新客户端应用配置。 前提条件 已安装HDFS集群,主备NameNode正常,HDFS服务正常。 规划安装从NameNo
-
Manager日志清单 - MapReduce服务 MRS
distribute.log 证书分发日志 ficertgenetrate.log 证书替换日志,包括生成二级证书、cas证书、httpd证书的日志。 genPwFile.log 生成证书密码文件日志 modifyproxyconf.log 修改HTTPD代理配置的日志 importTar.log
-
配置从NameNode支持读操作 - MapReduce服务 MRS
对系统的影响 配置从NameNode支持读可以降低主NameNode的负载,提高HDFS集群的处理能力,尤其是在大集群下效果明显。 配置从NameNode支持读需要更新客户端应用配置。 前提条件 已安装HDFS集群,主备NameNode正常,HDFS服务正常。 规划安装从NameNo
-
使用Flume客户端从Kafka采集日志保存到HDFS - MapReduce服务 MRS
properties”文件上传到Flume客户端安装目录下的“flume/conf/”下。 Flume客户端连接到HDFS,还需要补充如下配置: 通过“用户”下载用户flume_hdfs的kerberos证书文件获取krb5.conf配置文件,并上传至客户端所在节点安装目录的“fusioninsight-flume-1
-
使用Flume客户端从Kafka采集日志保存到HDFS - MapReduce服务 MRS
properties”文件上传到Flume客户端安装目录下的“flume/conf/”下。 Flume客户端连接到HDFS,还需要补充如下配置: 通过“用户”下载用户flume_hdfs的kerberos证书文件获取krb5.conf配置文件,并上传至客户端所在节点安装目录的“fusioninsight-flume-1
-
从checkpoint恢复spark应用的限制 - MapReduce服务 MRS
从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复,用于从上次任务中断处继续往下执行,以保证数据不丢失。但是,在某些情况下,从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息
-
从checkpoint恢复spark应用的限制 - MapReduce服务 MRS
从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复,用于从上次任务中断处继续往下执行,以保证数据不丢失。但是,在某些情况下,从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息