对象存储服务 OBS-Spark对接OBS:对接步骤

时间：2024-09-18 16:15:34

对象存储服务 OBS

以Spark2.3.3为例。

在/etc/profile文件中增加配置内容：

export SPARK_HOME=/opt/spark-2.3.3
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

配置spark。
1. 重命名/opt/spark-2.3.3/conf/spark-env.sh.template为spark-env.sh并增加配置：
```
export SPARK_DIST_CLASSPATH=$(hadoop classpath)
```
  更多配置内容请参见Apache Hadoop。
2. 重命名/opt/spark-2.3.3/conf/log4j.properties.template为log4j.properties。
执行以下命令，验证是否对接成功。

$SPARK_HOME/bin/run-example org.apache.spark.examples.JavaWordCount obs://obs-bucket/input/test.txt