MAPREDUCE服务 MRS-安装客户端（3.x之前版本）:在集群外节点上安装客户端

时间：2023-12-14 16:35:21

MAPREDUCE服务 MRS 使用MRS客户端

在集群外节点上安装客户端

创建一个满足要求的弹性云服务器，要求如下：

针对 MRS 3.x之前版本的集群，需要先确认当前MRS集群节点的CPU架构。针对MRS 3.x之前版本的集群，该弹性云服务器的CPU架构请和MRS集群节点保持一致，MRS 3.x及之后版本MRS客户端兼容两种CPU架构。

已准备一个弹性云服务器，主机操作系统及版本请参见表1。

表1 参考列表
CPU架构	操作系统	支持的版本号
x86计算	Euler	可用：Euler OS 2.2 可用：Euler OS 2.3 可用：Euler OS 2.5
鲲鹏计算(ARM)	Euler	可用：Euler OS 2.8

例如，用户可以选择操作系统为Euler的弹性云服务器准备操作。

同时为弹性云服务分配足够的磁盘空间，例如“40GB”。

弹性云服务器的VPC需要与MRS集群在同一个VPC中。
弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。
如果不同，请修改弹性云服务器安全组或配置弹性云服务器安全组的出入规则允许MRS集群所有安全组的访问。
需要允许用户使用密码方式登录Linux弹性云服务器（SSH方式），请参见SSH密码方式登录。
MRS集群安全组入方向将所有端口对客户端节点放开，具体操作请参考添加安全组规则。

登录MRS Manager页面，具体请参见访问MRS Manager（MRS 3.x之前版本），然后选择“服务管理”。
单击“下载客户端”。
在“客户端类型”选择“完整客户端”。
在“下载路径”选择“远端主机”。
将“主机IP”设置为E CS 的IP地址，设置“主机端口”为“22”，并将“存放路径”设置为“/tmp”。
- 如果使用SSH登录ECS的默认端口“22”被修改，请将“主机端口”设置为新端口。
- “存放路径”最多可以包含256个字符。
“登录用户”设置为“root”。
如果使用其他用户，请确保该用户对保存目录拥有读取、写入和执行权限。
在“登录方式”选择“密码”或“SSH私钥”。
- 密码：输入创建集群时设置的root用户密码。
- SSH私钥：选择并上传创建集群时使用的密钥文件。
单击“确定”开始生成客户端文件。
若界面显示以下提示信息表示客户端包已经成功保存。单击“关闭”。客户端文件请到下载客户端时设置的远端主机的“存放路径”中获取。
```
下载客户端文件到远端主机成功。
```
若界面显示以下提示信息，请检查用户名密码及远端主机的安全组配置，确保用户名密码正确，及远端主机的安全组已增加SSH(22)端口的入方向规则。然后从2执行重新下载客户端。
```
连接到服务器失败，请检查网络连接或参数设置。
```
生成客户端会占用大量的磁盘IO，不建议在集群处于安装中、启动中、打补丁中等非稳态场景下载客户端。
使用VNC方式，登录弹性云服务器。参见远程登录（VNC方式）。
所有镜像均支持Cloud-init特性。Cloud-init预配置的用户名“root”，密码为创建集群时设置的密码。首次登录建议修改。
执行ntp时间同步，使集群外节点的时间与MRS集群时间同步。
1. 检查安装NTP服务有没有安装，未安装请执行yum install ntp -y命令自行安装。
2. 执行vim /etc/ntp.conf命令编辑NTP客户端配置文件，并增加MRS集群中Master节点的IP并注释掉其他server的地址。
```
server master1_ip prefer
server master2_ip 
```
  图1 增加Master节点的IP
3. 执行service ntpd stop命令关闭NTP服务。
4. 执行如下命令，手动同步一次时间：
  /usr/sbin/ntpdate 192.168.10.8
  
  192.168.10.8为主Master节点的IP地址。
5. 执行service ntpd start或systemctl restart ntpd命令启动NTP服务。
6. 执行ntpstat命令查看时间同步结果。
在弹性云服务器，切换到root用户，并将6中“存放路径”中的安装包复制到目录“/opt”，例如“存放路径”设置为“/tmp”时命令如下。
sudo su - root

cp /tmp/MRS_Services_Client.tar /opt
在“/opt”目录执行以下命令，解压压缩包获取校验文件与客户端配置包。
tar -xvf MRS_Services_Client.tar
执行以下命令，校验文件包。
sha256sum -c MRS_Services_ClientConfig.tar.sha256

界面显示如下：
```
MRS_Services_ClientConfig.tar: OK
```
执行以下命令，解压“MRS_Services_ClientConfig.tar”。
tar -xvf MRS_Services_ClientConfig.tar
执行以下命令，安装客户端到新的目录，例如“/opt/Bigdata/client”。安装时自动生成目录。
sh /opt/MRS_Services_ClientConfig/install.sh /opt/Bigdata/client

查看安装输出信息，如有以下结果表示客户端安装成功：
```
Components client installation is complete.
```
验证弹性云服务器节点是否与集群Master节点的IP是否连通？
例如，执行以下命令：ping Master节点IP地址
- 是，执行18。
- 否，检查VPC、安全组是否正确，是否与MRS集群在相同VPC和安全组，然后执行18。
执行以下命令配置环境变量：
source /opt/Bigdata/client/bigdata_env
如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。
kinit MRS集群用户

例如, kinit admin
执行组件的客户端命令。
例如，执行以下命令查看HDFS目录：

hdfs dfs -ls /