MAPREDUCE服务 MRS-配置Hive Python3样例工程:操作步骤
操作步骤
- 客户端机器必须安装有Python3,其版本不低于3.6,最高不能超过3.8。
在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。
Python 3.8.2 (default, Jun 23 2020, 10:26:03) [GCC 4.8.5 20150623 (Red Hat 4.8.5-36)] on linux Type "help", "copyright", "credits" or "license" for more information.
- 客户端机器必须安装有setuptools,版本为47.3.1。可在https://pypi.org/project/setuptools/#files下载相应的安装包。
将下载的setuptools压缩文件复制到客户端机器上,解压后进入解压目录,在客户端机器的命令行终端执行以下命令:
python3 setup.py install
如下内容表示安装setuptools的47.3.1版本成功。
Finished processing dependencies for setuptools==47.3.1
若提示setuptools的47.3.1版本安装不成功,则需要检查环境是否有问题或是Python自身原因导致的。
- 安装Python客户端到客户端机器。
- 参考获取 MRS 应用开发样例工程,获取样例代码解压目录中“src\hive-examples”目录下的样例工程文件夹“python3-examples”。
- 进入“python3-examples”文件夹。
- 根据python3的版本,选择进入“dependency_python3.6”或“dependency_python3.7”或“dependency_python3.8”文件夹。
- 执行whereis easy_install命令,找到easy_install程序路径。如果有多个路径,使用easy_install --version确认选择setuptools对应版本的easy_install,例如:/usr/local/bin/easy_install。
- 使用对应的easy_install命令,安装dependency_python3.x文件夹下的egg文件,egg文件存在依赖关系,可使用通配符安装,如:
- “dependency_python3.6”目录:
/usr/local/bin/easy_install future*egg six*egg python*egg sasl-*linux-$(uname -p).egg thrift-*egg thrift_sasl*egg
- “dependency_python3.7”目录:
/usr/local/bin/easy_install future*egg six*egg sasl-*linux-$(uname -p).egg thrift-*egg thrift_sasl*egg
- “dependency_python3.8”目录:
/usr/local/bin/easy_install future*egg six*egg python*egg sasl-*linux-$(uname -p).egg thrift-*linux-$(uname -p).egg thrift_sasl*egg
每个egg文件安装输出以下关键内容表示安装成功。
Finished processing dependencies for ***
- “dependency_python3.6”目录:
- 安装成功后,“python3-examples/pyCLI_sec.py”为Python客户端样例代码,“python3-examples/pyhive/hive.py”为Python客户端接口API。
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是Hive_如何使用Hive
- 大数据分析是什么_使用MapReduce_创建MRS服务
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- Hudi服务_什么是Hudi_如何使用Hudi
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce服务_什么是Loader_如何使用Loader
- MRS备份恢复_MapReduce备份_数据备份
- MapReduce服务_什么是Kafka_如何使用Kafka
- MapReduce服务_什么是MapReduce服务_什么是HBase