数据湖探索 DLI-Spark如何将数据写入到DLI表中

时间：2025-02-12 15:00:38

数据湖探索 DLI

Spark如何将数据写入到 DLI 表中

使用Spark将数据写入到DLI表中，主要设置如下参数：

fs.obs.access.key
fs.obs.secret.key
fs.obs.impl
fs.obs.endpoint

示例如下：

import loggingfrom operator import addfrom pyspark import SparkContextlogging.basicConfig(format='%(message)s', level=logging.INFO)#import local filetest_file_name = "D://test-data_1.txt"out_file_name = "D://test-data_result_1"sc = SparkContext("local","wordcount app")sc._jsc.hadoopConfiguration().set("fs.obs.access.key", "myak")sc._jsc.hadoopConfiguration().set("fs.obs.secret.key", "mysk")sc._jsc.hadoopConfiguration().set("fs.obs.impl", "org.apache.hadoop.fs.obs.OBSFileSystem")sc._jsc.hadoopConfiguration().set("fs.obs.endpoint", "myendpoint")# red: text_file rdd objecttext_file = sc.textFile(test_file_name)# countscounts = text_file.flatMap(lambda line: line.split(" ")).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b)# writecounts.saveAsTextFile(out_file_name)

父主题： Spark作业开发类

上一篇：数据湖探索 DLI-创建RDS跨源表提示空指针错误怎么办？:原因分析

下一篇：数据湖探索 DLI-Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致？:根因分析