MapReduce服务 MRS-操作Avro格式数据:Python样例代码

时间：2025-02-12 14:58:43

MapReduce服务 MRS

Python样例代码

下面代码片段仅为演示，具体代码参见SparkOnHbasePythonExample中的AvroSource文件：

# -*- coding:utf-8 -*-"""【说明】由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现"""from py4j.java_gateway import java_importfrom pyspark.sql import SparkSession# 创建SparkSessionspark = SparkSession\        .builder\        .appName("AvroSourceExample")\        .getOrCreate()# 向sc._jvm中导入要运行的类java_import(spark._jvm, 'com.huawei.bigdata.spark.examples.datasources.AvroSource')# 创建类实例并调用方法，传递sc._jsc参数spark._jvm.AvroSource().execute(spark._jsc)# 停止SparkSessionspark.stop()

上一篇：MapReduce服务 MRS-配置Oozie作业运行参数:参数解释

下一篇：MapReduce服务 MRS-配置Oozie作业运行参数:参数解释