云服务器内容精选
-
在集群外节点安装客户端前提条件 已准备一个Linux弹性云服务器，主机操作系统及版本建议参见表1。 表1 参考列表 CPU架构 操作系统 支持的版本号 x86计算 Euler EulerOS 2.5 SUSE SUSE Linux Enterprise Server 12 SP4（SUSE 12.4） Red Hat Red Hat-7.5-x86_64（Red Hat 7.5） CentOS CentOS-7.6版本（CentOS 7.6） 鲲鹏计算(ARM) Euler EulerOS 2.8 CentOS CentOS-7.6版本（CentOS 7.6） 同时为弹性云服务分配足够的磁盘空间，例如“40GB”。 弹性云服务器的VPC需要与 MRS 集群在同一个VPC中。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器操作系统已安装NTP服务，且NTP服务运行正常。 如果未安装，在配置了yum源的情况下，可执行yum install ntp -y命令自行安装。 需要允许用户使用密码方式登录Linux弹性云服务器（SSH方式）。 MRS集群安全组入方向将所有端口对客户端节点放开，具体操作请参考添加安全组规则。
-
使用客户端 在已安装客户端的节点，执行sudo su - omm命令切换用户。执行以下命令切换到客户端目录： cd /opt/client 执行以下命令配置环境变量： source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinitMRS集群用户 例如，kinit admin。 启用Kerberos认证的MRS集群默认创建“admin”用户账号，用于集群管理员维护集群。 直接执行组件的客户端命令。 例如：使用HDFS客户端命令查看HDFS根目录文件，执行hdfs dfs -ls /。
-
集群外节点安装客户端 根据在集群外节点安装客户端前提条件，创建一个满足要求的弹性云服务器。 执行ntp时间同步，使集群外节点的时间与MRS集群时间同步。 执行vi /etc/ntp.conf命令编辑NTP客户端配置文件，并增加MRS集群中Master节点的IP并注释掉其他server的地址。 server master1_ip prefer server master2_ip 图2 增加Master节点的IP 执行service ntpd stop命令关闭NTP服务。 执行如下命令，手动同步一次时间： /usr/sbin/ntpdate 192.168.10.8 192.168.10.8为主Master节点的IP地址。 执行service ntpd start或systemctl restart ntpd命令启动NTP服务。 执行ntpstat命令查看时间同步结果。 参考以下步骤，从 FusionInsight Manager下载集群客户端软件包并复制到E CS 节点后安装客户端。 访问集群Manager，参考集群内节点安装客户端下载集群客户端到主管理节点的指定目录。 使用root用户登录主管理节点，执行以下命令复制客户端安装包到待安装客户端的节点： scp -p /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar 待安装客户端节点的IP地址:/tmp 使用待安装客户端的用户登录待安装客户端节点。 执行以下命令安装客户端，如果当前用户无客户端软件包以及客户端安装目录的操作权限，需使用root用户进行赋权： cd /tmp tar -xvf FusionInsight_Cluster_1_Services_Client.tar tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar cd FusionInsight_Cluster_1_Services_ClientConfig ./install.sh /opt/client 执行以下命令，切换到客户端目录并配置环境变量： cd /opt/client source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinitMRS集群用户 例如，kinit admin。 直接执行组件的客户端命令。 例如使用HDFS客户端命令查看HDFS根目录文件，执行hdfs dfs -ls /。
-
前提条件 待安装客户端节点为集群外节点时，该节点必须能够与集群内节点网络互通，否则安装会失败。 待安装客户端节点必须启用NTP服务，并保持与服务端的时间一致，否则安装会失败。 在节点上安装客户端可以使用root或任意操作系统用户进行操作，要求该用户对客户端文件存放目录和安装目录具有操作权限，两个目录的权限为“755”。 本章节以使用操作系统用户“user_client”安装客户端进行举例，安装目录为“/opt/hadoopclient”。 使用omm和root以外的用户安装客户端时，若“/var/tmp/patch”目录已存在，需将此目录权限修改为“777”，将此目录内的日志权限修改为“666”。
-
全量更新主Master节点的原始客户端 场景描述 用户创建集群时，默认在集群所有节点的“/opt/client”目录安装保存了原始客户端。以下操作以“/opt/Bigdata/client”为例进行说明。 MRS普通集群，在console页面提交作业时，会使用master节点上预置安装的客户端进行作业提交。 用户也可使用master节点上预置安装的客户端来连接服务端、查看任务结果或管理数据等 对集群安装补丁后，用户需要重新更新master节点上的客户端，才能保证继续使用内置客户端功能。 操作步骤 登录MRS Manager页面，具体请参见访问MRS Manager（MRS 3.x之前版本），然后选择“服务管理”。 单击“下载客户端”。 “客户端类型”选择“完整客户端”，“下载路径”选择“服务器端”，单击“确定”开始生成客户端配置文件，文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。 查询并登录主Master节点。 在弹性云服务器，切换到root用户，并将安装包复制到目录“/opt”。 sudo su - root cp /tmp/MRS-client/MRS_Services_Client.tar /opt 在“/opt”目录执行以下命令，解压压缩包获取校验文件与客户端配置包。 tar -xvf MRS_Services_Client.tar 执行以下命令，校验文件包。 sha256sum -c MRS_Services_ClientConfig.tar.sha256 界面显示如下： MRS_Services_ClientConfig.tar: OK 执行以下命令，解压“MRS_Services_ClientConfig.tar”。 tar -xvf MRS_Services_ClientConfig.tar 执行以下命令，移动旧客户端到“/opt/Bigdata/client_bak”目录下。 mv /opt/Bigdata/client /opt/Bigdata/client_bak 执行以下命令，安装客户端到新的目录，客户端路径必须为“/opt/Bigdata/client”。 sh /opt/MRS_Services_ClientConfig/install.sh /opt/Bigdata/client 查看安装输出信息，如有以下结果表示客户端安装成功： Components client installation is complete. 执行以下命令，修改“/opt/Bigdata/client”目录的所属用户和用户组。 chown omm:wheel /opt/Bigdata/client -R 执行以下命令配置环境变量： source /opt/Bigdata/client/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinitMRS集群用户 例如, kinit admin 执行组件的客户端命令。 例如，执行以下命令查看HDFS目录： hdfs dfs -ls /
-
全量更新备Master节点的原始客户端 参见1~3登录备Master节点，执行如下命令切换到omm用户。 sudo su - omm 在备master节点上执行如下命令，从主master节点拷贝下载的客户端包。 scp omm@master1节点IP地址:/tmp/MRS-client/MRS_Services_Client.tar /tmp/MRS-client/ 该命令以master1节点为主master节点为例。 目的路径以备master节点的/tmp/MRS-client/目录为例，请根据实际路径修改。 参见4~13，更新备Master节点的客户端。
-
使用MRS客户端 在已安装客户端的节点，执行sudo su - omm命令切换用户。执行以下命令切换到客户端目录： cd /opt/client 执行以下命令配置环境变量： source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit MRS集群用户 例如，kinit admin。 启用Kerberos认证的MRS集群默认创建“admin”用户账号，用于集群管理员维护集群。 直接执行组件的客户端命令。 例如：使用HDFS客户端命令查看HDFS根目录文件，执行hdfs dfs -ls /。
-
在集群外节点上安装客户端 创建一个满足要求的弹性云服务器，要求如下： 针对MRS 3.x之前版本的集群，需要先确认当前MRS集群节点的CPU架构。针对MRS 3.x之前版本的集群，该弹性云服务器的CPU架构请和MRS集群节点保持一致，MRS 3.x及之后版本MRS客户端兼容两种CPU架构。 已准备一个弹性云服务器，主机操作系统及版本请参见表1。 表1 参考列表 CPU架构 操作系统 支持的版本号 x86计算 Euler 可用：Euler OS 2.2 可用：Euler OS 2.3 可用：Euler OS 2.5 鲲鹏计算(ARM) Euler 可用：Euler OS 2.8 例如，用户可以选择操作系统为Euler的弹性云服务器准备操作。 同时为弹性云服务分配足够的磁盘空间，例如“40GB”。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 如果不同，请修改弹性云服务器安全组或配置弹性云服务器安全组的出入规则允许MRS集群所有安全组的访问。 需要允许用户使用密码方式登录Linux弹性云服务器（SSH方式），请参见SSH密码方式登录。 MRS集群安全组入方向将所有端口对客户端节点放开，具体操作请参考添加安全组规则。 登录MRS Manager页面，具体请参见访问MRS Manager（MRS 3.x之前版本），然后选择“服务管理”。 单击“下载客户端”。 在“客户端类型”选择“完整客户端”。 在“下载路径”选择“远端主机”。 将“主机IP”设置为ECS的IP地址，设置“主机端口”为“22”，并将“存放路径”设置为“/tmp”。 如果使用SSH登录ECS的默认端口“22”被修改，请将“主机端口”设置为新端口。 “存放路径”最多可以包含256个字符。 “登录用户”设置为“root”。 如果使用其他用户，请确保该用户对保存目录拥有读取、写入和执行权限。 在“登录方式”选择“密码”或“SSH私钥”。 密码：输入创建集群时设置的root用户密码。 SSH私钥：选择并上传创建集群时使用的密钥文件。 单击“确定”开始生成客户端文件。 若界面显示以下提示信息表示客户端包已经成功保存。单击“关闭”。客户端文件请到下载客户端时设置的远端主机的“存放路径”中获取。 下载客户端文件到远端主机成功。 若界面显示以下提示信息，请检查用户名密码及远端主机的安全组配置，确保用户名密码正确，及远端主机的安全组已增加SSH(22)端口的入方向规则。然后从2执行重新下载客户端。 连接到服务器失败，请检查网络连接或参数设置。 生成客户端会占用大量的磁盘IO，不建议在集群处于安装中、启动中、打补丁中等非稳态场景下载客户端。 使用VNC方式，登录弹性云服务器。参见远程登录（VNC方式）。 所有镜像均支持Cloud-init特性。Cloud-init预配置的用户名“root”，密码为创建集群时设置的密码。首次登录建议修改。 执行ntp时间同步，使集群外节点的时间与MRS集群时间同步。 检查安装NTP服务有没有安装，未安装请执行yum install ntp -y命令自行安装。 执行vim /etc/ntp.conf命令编辑NTP客户端配置文件，并增加MRS集群中Master节点的IP并注释掉其他server的地址。 server master1_ip prefer server master2_ip 图1 增加Master节点的IP 执行service ntpd stop命令关闭NTP服务。 执行如下命令，手动同步一次时间： /usr/sbin/ntpdate 192.168.10.8 192.168.10.8为主Master节点的IP地址。 执行service ntpd start或systemctl restart ntpd命令启动NTP服务。 执行ntpstat命令查看时间同步结果。 在弹性云服务器，切换到root用户，并将6中“存放路径”中的安装包复制到目录“/opt”，例如“存放路径”设置为“/tmp”时命令如下。 sudo su - root cp /tmp/MRS_Services_Client.tar /opt 在“/opt”目录执行以下命令，解压压缩包获取校验文件与客户端配置包。 tar -xvf MRS_Services_Client.tar 执行以下命令，校验文件包。 sha256sum -c MRS_Services_ClientConfig.tar.sha256 界面显示如下： MRS_Services_ClientConfig.tar: OK 执行以下命令，解压“MRS_Services_ClientConfig.tar”。 tar -xvf MRS_Services_ClientConfig.tar 执行以下命令，安装客户端到新的目录，例如“/opt/Bigdata/client”。安装时自动生成目录。 sh /opt/MRS_Services_ClientConfig/install.sh /opt/Bigdata/client 查看安装输出信息，如有以下结果表示客户端安装成功： Components client installation is complete. 验证弹性云服务器节点是否与集群Master节点的IP是否连通？ 例如，执行以下命令：ping Master节点IP地址 是，执行18。 否，检查VPC、安全组是否正确，是否与MRS集群在相同VPC和安全组，然后执行18。 执行以下命令配置环境变量： source /opt/Bigdata/client/bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit MRS集群用户 例如, kinit admin 执行组件的客户端命令。 例如，执行以下命令查看HDFS目录： hdfs dfs -ls /
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
