MAPREDUCE服务 MRS-Python样例代码:环境准备
环境准备
- 安装支持环境。(开发环境请参考Spark应用开发环境简介准备)
执行以下命令安装编译工具:
yum install cyrus-sasl-devel -y
yum install gcc-c++ -y
- 安装相应的python模块。
需要安装sasl,thrift,thrift-sasl,PyHive。
pip install sasl
pip install thrift
pip install thrift-sasl
pip install PyHive
- 安装python连接zookeeper工具。
- 从 MRS 集群上获取相应参数。
- zookeeper的IP和PORT:
可以查看配置文件/opt/client/Spark/spark/conf/hive-site.xml中的配置项spark.deploy.zookeeper.url
- zookeeper 上存放JD BCS erver主节点的IP和PORT:
可以查看配置文件/opt/client/Spark/spark/conf/hive-site.xml中的配置项spark.thriftserver.zookeeper.dir(默认是/thriftserver),在此znode子节点(active_thriftserver)上存放了JDB CS erver主节点的IP和PORT
- zookeeper的IP和PORT:
- ModelArts开发环境_开发环境简介_开发环境怎么使用
- 如何使用应用管理与运维平台环境管理功能_环境管理_创建环境_纳管资源
- MapReduce服务_什么是MapReduce服务_什么是HBase
- 什么是数字人_数字人真人声音录制_华为云1
- 低代码开发平台好用吗_低代码平台_Astro低代码-华为云
- 人工智能学习入门
- 如何使用模板创建函数_模板创建函数_函数工作流 FunctionGraph-华为云
- 低代码开发平台_低代码平台Astro_低代码开发是什么-华为云
- 代码检查工具_代码检查平台_代码检查CodeArts Check-华为云
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用