检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
客户端管理”,进入客户端管理界面,单击“导出全部”,将所选的客户端信息导出到本地。 解压导出的客户端信息,将client-info.cfg文件上传到客户端解压目录的batch_upgrade目录下。 参考以下操作,补全“client-info.cfg”中缺失的密码。 执行vi client-info
"A城市"); 使用load data命令导入文件数据。 根据表1数据创建文件。如,文件名为txt.log,以空格拆分字段,以换行符作为行分隔符。 上传文件至hdfs。 hdfs dfs -put txt.log /tmp 加载数据到表中。 load data inpath '/tmp/txt
打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Sp
Ranger证书更新后,证书有效期为10年。 Ranger证书过期后,Ranger WEBUI还能够继续访问,功能不影响。仅在访问前有不信任的证书提示。 如果集群未安装Ranger组件,则分别登录Master节点,执行如下命令将证书文件改名即可。 mv /opt/Bigdata/MRS_1.9.3/install/MRS-Ranger-1
mp /user/loader/etl_hbase_tmp /user/oozie 固定目录 存放oozie运行时需要的依赖库,需用户手动上传 否 oozie调度失败 /user/mapred/hadoop-mapreduce-xxx.tar.gz 固定文件 MR分布式缓存功能使用的各jar包
操作请参考配置Windows通过EIP访问集群HBase。 如果本地开发环境与MRS集群内节点网络不通,也可以将样例工程编译后,将jar包上传至集群内运行,具体操作可参考调测HBase应用。 Windows本地hosts文件存放路径举例:“C:\WINDOWS\system32\drivers\etc\hosts”。
"A城市"); 使用load data命令导入文件数据。 根据表1数据创建文件。如,文件名为txt.log,以空格拆分字段,以换行符作为行分隔符。 上传文件至hdfs。 hdfs dfs -put txt.log /tmp 加载数据到表中。 load data inpath '/tmp/txt
操作视频 本视频以在未开启Kerberos认证的MRS 3.1.0版本集群的管理控制台上,提交用于处理OBS存储的数据的Flink作业为例进行说明。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。
properties"为客户端配置文件 //"hiveclient.properties"文件可从对应实例客户端安装包解压目录下的config目录下获取,并上传到JDBC样例工程的“hive-jdbc-example\src\main\resources”目录下 String hiveclientProp
打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Sp
打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Sp
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Sp
件的完整路径。 public void copyFromLocalFile(Path src, Path dst) 通过该接口可将本地文件上传到HDFS的指定位置上,其中src和dst均为文件的完整路径。 public boolean mkdirs(Path f) 通过该接口可在
hdfs dfs -ls /user/oozie/share 是,执行18。 否,执行10。 在Oozie客户端安装目录中手动将share目录上传至HDFS的“/user/oozie”路径下,检查告警是否恢复。 是,处理完毕。 否,执行18。 检查Yarn/Mapreduce服务。 在FusionInsight
以下操作皆以用户使用FusionInsight客户端提交Spark2x应用为基础,如果用户使用了自己的配置文件目录,则需要修改本应用配置目录中的对应文件,并注意需要将配置文件上传到executor端。 由于hdfs和hbase客户端访问服务端时,使用hostname配置服务端地址,因此,客户端的/etc/hosts
件的完整路径。 public void copyFromLocalFile(Path src, Path dst) 通过该接口可将本地文件上传到HDFS的指定位置上,其中src和dst均为文件的完整路径。 public boolean mkdirs(Path f) 通过该接口可在
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Sp
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Sp
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Sp
可以选择,如表1所示。 表1 分配策略 编号 策略 说明 1 删除旧的locators,为集群中所有数据节点重新创建locators。 在未扩容之前分配的locators,平衡的使用了所有数据节点。当扩容后,新加入的数据节点并未分配到已经创建的locators中,所以使用Colo