MAPREDUCE服务 MRS-操作Avro格式数据:Python样例代码

时间：2024-11-01 09:29:15

MAPREDUCE服务 MRS

Python样例代码

下面代码片段仅为演示，具体代码参见SparkOnHbasePythonExample中的AvroSource文件：

# -*- coding:utf-8 -*-
"""
【说明】
(1)由于pyspark不提供HBase相关api,本样例使用Python调用Java的方式实现
(2)如果使用yarn-client模式运行,请确认Spark2x客户端Spark2x/spark/conf/spark-defaults.conf中
   spark.yarn.security.credentials.hbase.enabled参数配置为true
"""
from py4j.java_gateway import java_import
from pyspark.sql import SparkSession
# 创建SparkSession
spark = SparkSession\
        .builder\
        .appName("AvroSourceExample")\
        .getOrCreate()
# 向sc._jvm中导入要运行的类
java_import(spark._jvm, 'com.huawei.bigdata.spark.examples.datasources.AvroSource')
# 创建类实例并调用方法，传递sc._jsc参数
spark._jvm.AvroSource().execute(spark._jsc)
# 停止SparkSession
spark.stop()

上一篇：MAPREDUCE服务 MRS-初始化HBase配置:代码样例

下一篇：MAPREDUCE服务 MRS-操作Avro格式数据:提交命令