云服务器内容精选

华为云首页用户手册

通过JDBC访问Spark SQL的程序

MAPREDUCE服务 MRS-Python样例代码:环境准备

环境准备安装支持环境。（开发环境请参考Spark应用开发环境简介准备）执行以下命令安装编译工具： yum install cyrus-sasl-devel -y yum install gcc-c++ -y 安装相应的python模块。需要安装sasl，thrift，thrift-sasl，PyHive。 pip install sasl pip install thrift pip install thrift-sasl pip install PyHive 安装python连接zookeeper工具。 pip install kazoo 从 MRS 集群上获取相应参数。 zookeeper的IP和PORT：可以查看配置文件/opt/client/Spark/spark/conf/hive-site.xml中的配置项spark.deploy.zookeeper.url zookeeper 上存放JD BCS erver主节点的IP和PORT：可以查看配置文件/opt/client/Spark/spark/conf/hive-site.xml中的配置项spark.thriftserver.zookeeper.dir（默认是/thriftserver），在此znode子节点（active_thriftserver）上存放了JDB CS erver主节点的IP和PORT

MAPREDUCE服务 MRS 通过JDBC访问Spark SQL的程序
MAPREDUCE服务 MRS-Python样例代码:样例代码

样例代码 from kazoo.client import KazooClient zk = KazooClient(hosts='ZookeeperHost') zk.start() result=zk.get("/thriftserver/active_thriftserver") result=result[0].decode('utf-8') JDBCServerHost=result[0].split(":")[0] JDBCServerPort=result[0].split(":")[1] from pyhive import hive conn = hive.Connection(host=JDBCServerHost, port=JDBCServerPort,database='default') cursor=conn.cursor() cursor.execute("select * from test") for result in cursor.fetchall(): print result 其中，ZookeeperHost使用4获取到的zookeeper IP和PORT替换。

MAPREDUCE服务 MRS 通过JDBC访问Spark SQL的程序