MAPREDUCE服务 MRS-使用Spark执行Hudi样例程序开发思路:运行任务
下载MAPREDUCE服务 MRS用户手册完整版
运行任务
- 登录Spark客户端节点，执行如下命令：
source 客户端安装目录/Hudi/component_env
- 编译构建样例代码后可以使用spark-submit提交命令，执行命令后会依次执行写入、更新、查询、删除等操作：
- 运行Java样例程序：
spark-submit --class com.huawei.bigdata.hudi.examples.HoodieWriteClientExample /opt/example/hudi-java-examples-1.0.jar hdfs://hacluster/tmp/example/hoodie_java hoodie_java
其中：“/opt/example/hudi-java-examples-1.0.jar”为jar包路径，“hdfs://hacluster/tmp/example/hoodie_java”为Hudi表的存储路径，“ hoodie_java”为Hudi表的表名。
- 运行Scala样例程序：
spark-submit --class com.huawei.bigdata.hudi.examples.HoodieDataSourceExample /opt/example/hudi-scala-examples-1.0.jar hdfs://hacluster/tmp/example/hoodie_scala hoodie_scala
其中：“/opt/example/hudi-scala-examples-1.0.jar”为jar包路径，“hdfs://hacluster/tmp/example/hoodie_scala”为Hudi表的存储路径，“ hoodie_Scala”为Hudi表的表名。
- 运行Python样例程序：
spark-submit /opt/example/HudiPythonExample.py hdfs://hacluster/tmp/huditest/example/python hudi_trips_cow
其中：“hdfs://hacluster/tmp/huditest/example/python”为Hudi表的存储路径，“ hudi_trips_cow”为Hudi表的表名。
- 运行Java样例程序：
- 大数据分析是什么_使用MapReduce_创建MRS服务
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- Hudi服务_什么是Hudi_如何使用Hudi
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MapReduce服务_什么是HetuEngine_如何使用HetuEngine
- MapReduce服务_什么是Yarn_如何使用Yarn
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce服务_什么是HDFS_HDFS特性
