华为云首页用户手册

MAPREDUCE服务 MRS-Spark从HBase读取数据再写入HBase样例程序开发思路:运行任务

MAPREDUCE服务 MRS-Spark从HBase读取数据再写入HBase样例程序开发思路:运行任务

时间：2024-10-22 10:49:51

MAPREDUCE服务 MRS

运行任务

进入Spark客户端目录，调用bin/spark-submit脚本运行代码，运行命令分别如下（类名与文件名等请与实际代码保持一致，此处仅为示例）：

运行Java或Scala样例代码
 bin/spark-submit --jars {客户端安装路径}/Spark/spark/jars/protobuf-java-2.5.0.jar --conf spark.yarn.user.classpath.first=true --class com.huawei.bigdata.spark.examples.SparkHbasetoHbase --master yarn --deploy-mode client /opt/female/SparkHbasetoHbase-1.0.jar
运行Python样例程序
- 由于pyspark不提供Hbase相关api，本样例使用Python调用Java的方式实现。将所提供 Java代码使用maven打包成jar，并放在相同目录下，运行python程序时要使用--jars把jar包加载到classpath中。
- 由于Python样例代码中未给出认证信息，请在执行应用程序时通过配置项“--keytab”和“--principal”指定认证信息。
bin/spark-submit --master yarn --deploy-mode client --keytab /opt/FIclient/user.keytab --principal sparkuser --conf spark.yarn.user.classpath.first=true --jars /opt/female/SparkHbasetoHbasePythonExample/SparkHbasetoHbase-1.0.jar,/opt/female/protobuf-java-2.5.0.jar /opt/female/SparkHbasetoHbasePythonExample/SparkHbasetoHbasePythonExample.py

上一篇：MAPREDUCE服务 MRS-Spark从HBase读取数据再写入HBase样例程序开发思路:数据规划

下一篇：MAPREDUCE服务 MRS-Spark从HBase读取数据再写入HBase样例程序开发思路:打包项目

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

MAPREDUCE服务 MRS-Spark从HBase读取数据再写入HBase样例程序开发思路:运行任务

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题