HDFS应用开发常见问题-华为云

MAPREDUCE服务 MRS-HDFS C API接口介绍:准备运行环境

准备运行环境在节点上安装客户端，例如安装到“/opt/client”目录，安装方法可参考《 MapReduce服务用户指南》的“客户端管理”章节。确认服务端HDFS组件已经安装，并正常运行。客户端运行环境已安装1.7或1.8版本的JDK。获取并解压缩安装“ MRS _HDFS_Client.tar”包。执行如下命令解压。 tar -xvf MRS_HDFS_Client.tar tar -xvf MRS_HDFS_ClientConfig.tar 由于不兼容老版本客户端，建议用户获取与服务端集群相同版本的客户端安装包进行安装部署。进入解压文件夹，即“MRS_HDFS_ClientConfig”，执行下列命令安装客户端。 sh install.sh /opt/client 其中“/opt/client”为用户自定义路径，此处仅为举例。进入客户端安装目录“/opt/client”，执行下列命令初始化环境变量。 source bigdata_env

MAPREDUCE服务 MRS HDFS应用开发常见问题

MAPREDUCE服务 MRS-HDFS C API接口介绍:安装GDB

安装GDB 下载GDB的依赖包termcap的源代码。 wget https://ftp.gnu.org/gnu/termcap/termcap-1.3.1.tar.gz 解压termcap源码。 tar -zxvf termcap-1.3.1.tar.gz 编译安装termcap。 cd termcap-1.3.1/ ./configure && make && make install 下载GDB源码。 cd ~ wget https://ftp.gnu.org/gnu/gdb/gdb-7.6.1.tar.gz 解压GDB源码 tar -zxvf gdb-7.6.1.tar.gz 编译安装GDB。 cd gdb-7.6.1/ ./configure && make && make install 查看GDB是否安装成功。 gdb --version 打印出gdb版本信息即为安装成功。

MAPREDUCE服务 MRS HDFS应用开发常见问题

MAPREDUCE服务 MRS-登录MRS Manager:登录MRS Manager

登录MRS Manager 登录MRS管理控制台页面。在“现有集群” 列表，单击指定的集群名称，进入集群信息页面。单击“点击管理”，打开“访问MRS Manager页面”。若用户创建集群时已经绑定弹性公网IP，如图1所示。选择待添加的安全组规则所在安全组，该安全组在创建群时配置。添加安全组规则，默认填充的是用户访问公网IP地址9022端口的规则，如需开放多个IP段为可信范围用于访问MRS Manager页面，请参考添加安全组规则。如需对安全组规则进行查看，修改和删除操作，请单击“管理安全组规则”。自动获取的访问公网IP与用户本机IP不一致，属于正常现象，无需处理。 9022端口为knox的端口，需要开启访问knox的9022端口权限，才能访问MRS Manager服务。勾选“我确认xx.xx.xx.xx为可信任的公网访问IP，并允许从该IP访问MRS Manager页面。” 图1 添加访问MRS Manager的安全组规则若用户创建集群时暂未绑定弹性公网IP，如图2所示。在弹性公网IP下拉框中选择可用的弹性公网IP或单击“管理弹性公网IP”创建弹性公网IP。选择待添加的安全组规则所在安全组，该安全组在创建群时配置。添加安全组规则，默认填充的是用户访问公网IP地址9022端口的规则，如需开放多个IP段为可信范围用于访问MRS Manager页面，请参考添加安全组规则。如需对安全组规则进行查看，修改和删除操作，请单击“管理安全组规则”。自动获取的访问公网IP与用户本机IP不一致，属于正常现象，无需处理。 9022端口为knox的端口，需要开启访问knox的9022端口权限，才能访问MRS Manager服务。勾选“我确认xx.xx.xx.xx为可信任的公网访问IP，并允许从该IP访问MRS Manager页面。” 图2 绑定弹性公网IP 单击“确定”，进入MRS Manager登录页面。输入创建集群时默认的用户名“admin”及设置的密码，单击“登录”进入MRS Manager页面。

MAPREDUCE服务 MRS HDFS应用开发常见问题

MAPREDUCE服务 MRS-登录MRS Manager:添加安全组规则

添加安全组规则如需为其他用户开通访问MRS Manager的权限，参考该小节内容添加对应用户访问公网的IP地址为可信范围。在MRS管理控制台，在“现有集群” 列表，单击指定的集群名称，进入集群信息页面。单击弹性公网IP后边的“添加安全组规则”，如图3所示。图3 集群详情进入“添加安全组规则”页面，添加需要开放权限用户访问公网的IP地址段并勾选“我确认这里设置的授权对象是可信任的公网访问IP范围，禁止使用0.0.0.0/0,否则会有安全风险。”如图4所示。图4 添加安全组规则默认填充的是用户访问公网的IP地址，用户可根据需要修改IP地址段，如需开放多个IP段为可信范围，请重复执行步骤6-步骤9。如需对安全组规则进行查看，修改和删除操作，请单击“管理安全组规则”。单击“确定”完成安全组规则添加。

MAPREDUCE服务 MRS HDFS应用开发常见问题

MAPREDUCE服务 MRS-下载MRS客户端

下载MRS客户端登录MRS Manager，请参考登录MRS Manager。选择“服务管理”。单击“下载客户端”。在“客户端类型”选择“完整客户端”。在“下载路径”选择“远端主机”。将“主机IP”设置为新申请的弹性云服务器的IP地址，设置“主机端口”为“22”，并将“存放路径”设置为“/tmp”。如果使用SSH登录E CS 的默认端口“22”被修改，请将“主机端口”设置为新端口。 “保存路径”最多可以包含256个字符。 “登录用户”设置为“root”。如果使用其他用户，请确保该用户对保存目录拥有读取、写入和执行权限。在“登录方式”选择“密码”或“SSH私钥”。密码：输入创建集群时设置的root用户密码。 SSH私钥：选择并上传创建集群时使用的密钥文件。图1 下载客户端单击“确定”开始生成客户端文件。若界面显示以下提示信息表示客户端包已经成功保存。单击“关闭”。客户端文件请到下载客户端时设置的远端主机的“存放路径”中获取。下载客户端文件到远端主机成功。若界面显示以下提示信息，请检查用户名密码及远端主机的安全组配置，确保用户名密码正确，及远端主机的安全组已增加SSH(22)端口的入方向规则。然后从2执行重新开始下载客户端。连接到服务器失败，请检查网络连接或参数设置。生成客户端会占用大量的磁盘IO，不建议在集群处于安装中、启动中、打补丁中等非稳态场景下载客户端。父主题： HDFS应用开发常见问题

MAPREDUCE服务 MRS HDFS应用开发常见问题

云服务器内容精选

HDFS应用开发常见问题

7*24

备案

专业服务

退订

建议反馈

售前咨询热线