华为云首页用户手册

MAPREDUCE服务 MRS-Structured Streaming 任务提交方式变更:解决方案

MAPREDUCE服务 MRS-Structured Streaming 任务提交方式变更:解决方案

时间：2024-06-29 14:11:24

MAPREDUCE服务 MRS Spark应用开发常见问题

解决方案

提交yarn-client模式的结构流任务时需要额外如下操作：
将Spark客户端目录下spark-default.conf文件中的spark.driver.extraClassPath配置复制出来，并将Kafka相关jar包路径追加到该配置项之后，提交结构流任务时需要通过--conf将该配置项给加上。例如：kafka相关jar包路径为“/kafkadir”，提交任务需要增加--conf spark.driver.extraClassPath=/opt/client/Spark2x/spark/conf/:/opt/client/Spark2x/spark/jars/*:/opt/client/Spark2x/spark/x86/*:/kafkadir/*。
提交yarn-cluster模式的结构流任务时需要额外如下操作：
将Spark客户端目录下spark-default.conf文件中的spark.yarn.cluster.driver.extraClassPath配置给复制出来，并将Kafka相关jar包相对路径追加到该配置项之后，提交结构流任务时需要通过--conf 将该配置项给加上。例如：kafka相关包为kafka-clients-x.x.x.jar，kafka_2.11-x.x.x.jar，提交任务需要增加--conf spark.yarn.cluster.driver.extraClassPath=/home/huawei/Bigdata/common/runtime/security:./kafka-clients-x.x.x.jar:./kafka_2.11-x.x.x.jar。
当前版本Spark结构流部分不再支持kafka2.x之前的版本，对于升级场景请继续使用旧的客户端。

上一篇：MAPREDUCE服务 MRS-配置ClickHouse连接属性

下一篇：MAPREDUCE服务 MRS-创建HBase表二级索引:注意事项

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

MAPREDUCE服务 MRS-Structured Streaming 任务提交方式变更:解决方案

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题