检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在节点中安装MRS集群客户端,例如客户端安装目录为“/opt/client”。 获取配置文件: 登录FusionInsight Manager,在“主页”右上方选择“更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,勾选“仅保存到如下路径”,单击“确定”,下载客户端配置文件至集群主OMS点。
Manager,然后选择“服务管理”。 单击“下载客户端”。 “客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。 图1 仅下载客户端的配置文件 登录MRS Manager的主管理节点。
ab文件。“人机”用户第一次登录时需修改密码。(普通模式不涉及) 使用HDFS客户端 安装客户端,详细操作请参考使用MRS客户端。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source
SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22 Sftp用户名 访问SFTP服务器的用户名。
Sqoop如何连接MySQL 用户问题 Sqoop如何连接MySQL数据库。 处理步骤 在集群上安装客户端,查看客户端“sqoop/lib”目录下是否有MySQL驱动包。 在客户端目录下加载环境变量。 source bigdata_env 执行Kerberos用户认证。 如果集群
权限。 根据所用的开发语言安装并配置IntelliJ IDEA及JDK等工具。 已完成Spark2x客户端的安装及客户端网络连接的配置。 对于Spark SQL程序,需要先在客户端启动Spark SQL或Beeline以输入SQL语句。 操作步骤 获取样例工程并将其导入IDEA,
一次登录时需修改密码。 使用Oozie客户端 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,该操作的客户端目录只是举例,请根据实际安装目录修改。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 判断集群认证模式。
-----------------+ 根据如上信息,可知SFTP连接器类型ID为6。 执行如下命令,创建连接器,根据提示输入具体的连接器信息。 create connection -c 连接器类型ID 例如,连接器类型的ID为6,则执行如下命令: create connection
使用Flink客户端(MRS 3.x及之后版本) 安装客户端。 以在集群内节点安装客户端为例: 登录Manager,在“集群”下拉列表中单击需要操作的集群名称,选择“更多 > 下载客户端”,弹出“下载集群客户端”信息提示框。 选择“完整客户端”,选择与待安装节点架构相匹配的平台类型,
号隔开。 代码样例 如下是建立连接代码片段: // 创建Kudu连接对象 KuduClient client = new KuduClient.KuduClientBuilder(KUDU_MASTERS).build(); 示例代码中,KUDU_MASTERS为Kudu集
ab文件。“人机”用户第一次登录时需修改密码。(普通模式不涉及) 使用HDFS客户端 安装客户端,详细操作请参考使用MRS客户端。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source
MRS集群客户端无法下载 问题现象 通过Master节点给MRS集群外的一台远端节点下载MRS集群客户端进行使用,但是一直提示网络或者参数有问题。 原因分析 可能是两台主机处于不同VPC网络中。 密码填写错误。 远端主机开启了防火墙。 处理步骤 两台主机处于不同VPC网络中 放开远端主机的22端口。
非root用户使用HBase客户端,请确保该HBase客户端目录的属主为该用户,否则请参考如下命令修改属主。 chown user:group -R 客户端安装目录/HBase 使用HBase客户端(MRS 3.x之前版本) 安装客户端,具体请参考安装客户端章节。 以客户端安装用户,登录安装客户端的节点。
管理MRS集群客户端 服务端配置过期后更新MRS集群客户端 查看已安装的MRS集群客户端 批量升级MRS集群客户端 父主题: 管理MRS集群
一次登录时需修改密码。 使用Oozie客户端 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,该操作的客户端目录只是举例,请根据实际安装目录修改。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 判断集群认证模式。
开源默认端口 定制默认端口 端口说明 clientPort 2181 24002 ZooKeeper客户端端口。 该端口用于: ZooKeeper客户端连接ZooKeeper服务器。 说明: 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是
使用Oozie客户端提交作业 Oozie客户端配置说明 使用Oozie客户端提交Hive任务 使用Oozie客户端提交Spark2x任务 使用Oozie客户端提交Loader任务 使用Oozie客户端提交DistCp任务 使用Oozie客户端提交其它任务 父主题: 使用Oozie
集群外节点提交Spark作业时报错无法连接Driver 问题现象 集群外节点和集群各个节点网络已经互通,在集群外节点使用client模式提交Spark任务到Yarn上,任务失败,报错信息为无法连接Driver。 原因分析 使用client模式提交Spark任务的时候,Spark的driver进程是在客户端这边,
使用Python远程连接HDFS的端口失败 用户问题 使用Python远程连接HDFS的端口失败,如何解决? 问题现象 用户使用Python远程连接HDFS的50070端口失败。 原因分析 HDFS开源3.0.0以下版本的默认端口为50070,3.0.0及以上的默认端口为9870
非root用户使用HBase客户端,请确保该HBase客户端目录的属主为该用户,否则请参考如下命令修改属主。 chown user:group -R 客户端安装目录/HBase 使用HBase客户端 安装客户端,具体请参考安装客户端章节。 以客户端安装用户,登录安装客户端的节点。 执行以下命令切换到客户端目录。