MAPREDUCE服务 MRS-Spark从Hive读取数据再写入HBase样例程序开发思路:打包项目

时间:2024-06-29 14:10:55

打包项目

  1. 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序
  2. 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。

运行样例程序前,需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”)。

support.huaweicloud.com/devg3-mrs/mrs_07_410088.html