MAPREDUCE服务 MRS-创建Bucket索引表调优:使用DataArts创建Hudi表

时间:2024-10-22 10:50:54

使用DataArts创建Hudi表

DataArts支持通过Spark JDBC方式和Spark API方式操作Hudi表:

  • Spark JDBC方式使用公用资源,不用单独起Spark作业,但是不能指定执行SQL所需要的资源以及配置参数,因此建议用来做建表操作或小数据量的查询操作。
  • Spark API方式执行的SQL独立起Spark作业,有一定的耗时,但是可以通过配置运行程序参数来指定作业所需要的资源等参数,建议批量导入等

作业使用API方式来指定资源运行,防止占用jdbc资源长时间阻塞其他任务。

DataArts使用Spark API方式操作Hudi表,必须要添加参数--conf spark.support.hudi=true,并且通过执行调度来运行作业。

support.huaweicloud.com/devg-rule-mrs/mrs_07_450138_0.html