检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
客户端工具说明 使用客户端运行Loader作业 loader-tool工具使用指导 loader-tool工具使用示例 schedule-tool工具使用指导 schedule-tool工具使用示例 使用loader-backup工具备份作业数据 开源sqoop-shell工具使用指导
cd /etc/ssh vi sshd_config Subsystem sftp /usr/libexec/openssh/sftp-server 图2 修改sshd_config文件 执行以下命令重启SFTP服务。
Mapreduce作业 使用Hue提交Oozie Sub workflow作业 使用Hue提交Oozie Shell作业 使用Hue提交Oozie HDFS作业 使用Hue提交Oozie Streaming作业 使用Hue提交Oozie Distcp作业 使用Hue提交Oozie SSH
可参考Shell的转义字符规则。 - job.jobId 需要执行数据备份的作业ID。 作业ID可通过登录Loader webUI在已创建的作业查看。 1 use.keytab 是否使用keytab方式登录。
Mapreduce作业 使用Hue提交Oozie Sub workflow作业 使用Hue提交Oozie Shell作业 使用Hue提交Oozie HDFS作业 使用Hue提交Oozie Streaming作业 使用Hue提交Oozie Distcp作业 使用Hue提交Oozie SSH
hadoop-<SSH_USER>-<process_name>-<hostname>.out Yarn运行环境信息日志。 <process_name>-<SSH_USER>-<DATE>-<PID>-gc.log 垃圾回收日志。
flink-conf.yaml Flink客户端配置文件。 检查客户端节点网络连接。
sqoop.server.list 配置连接Loader的浮动IP和端口，参数值格式为“floatip:port”。默认端口号为“21351”。 使用Loader shell客户端。 执行以下命令，进入Loader shell客户端目录。
在作业设计器，支持用户创建MapReduce、Java、Streaming、Fs、Ssh、Shell和DistCp作业。 仪表板使用介绍 访问Hue WebUI。 选择右上角“作业”，进入“作业浏览器”。
登录MRS Manager界面，重启HBase服务。 配置phoenix客户端参数(未开启Kerberos认证集群可跳过此步骤)。 配置phoenix连接时使用的认证信息。
hbase-<SSH_USER>-<process_name>-<hostname>.out HBase运行环境信息日志。 <process_name>-<SSH_USER>-<DATE>-<PID>-gc.log HBase服务垃圾回收日志。
安装客户端 参考安装Flink客户端章节配置。 父主题： 准备Flink应用开发环境
hadoop-<SSH_USER>-<process_name>-<hostname>.out Yarn运行环境信息日志。 <process_name>-<SSH_USER>-<DATE>-<PID>-gc.log 垃圾回收日志。
zookeeper-<SSH_USER>-<DATA>-<PID>-gc.log ZooKeeper垃圾回收日志。
开启 用户名 默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 root/admin 密码 设置root用户和admin用户密码。 设置密码登录集群管理页面及ECS节点用户的密码，例如：Test!@12345。
配置矢量化读取ORC数据 配置场景 ORC文件格式是一种Hadoop生态圈中的列式存储格式，它最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。
配置参数 登录FusionInsight Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。
图2 Topic状态 通过telnet命令，查看是否可以连接Kafka。 telnet Kafka业务IP Kafka业务port 如果无法telnet成功，请检查网络安全组与ACL。 通过SSH登录Kafka Broker。
su - omm ssh <浮动ip> 是，浮动IP正常，若Hue WebUI依然不能访问，请联系技术支持。 否，浮动IP被占用，执行5。 登录到集群内Hue主实例外的其他所有节点，执行以下命令，查看当前节点是否占用了Hue的浮动IP。
如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
