检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
例工程文件夹“python3-examples”。 进入“python3-examples”文件夹。 根据python3的版本，选择进入“dependency_python3.6”或“dependency_python3.7”或“dependency_python3.8”文件夹。
provider.hacluster改为与开源一致的值“org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider”。 不使用LZC压缩格式。 父主题： MRS应用开发开源jar包冲突列表说明
配置Hive Python3样例工程 操作场景 为了运行MRS产品Hive组件的Python3接口样例代码，需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3，其版本不低于3.6，最高不能超过3.8。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3
在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。 Python 3.8.2 (default, Jun 23 2020, 10:26:03) [GCC 4.8.5 20150623 (Red Hat 4.8.5-36)] on linux Type
在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。 Python 3.8.2 (default, Jun 23 2020, 10:26:03) [GCC 4.8.5 20150623 (Red Hat 4.8.5-36)] on linux Type
6，最高不能超过3.9。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。 Python 3.8.2 (default, Jun 23 2020, 10:26:03) [GCC 4.8.5 20150623 (Red Hat
参考准备MRS应用开发用户进行操作，准备用于应用开发的集群用户并授予相应权限。 Python开发工具的详细安装配置可参见配置Hive Python样例工程。 表3 Python3开发环境 准备项 说明 操作系统 开发环境和运行环境：Linux系统。 安装Python3 用于开发Hive应用程序的工具，版本要求不低于3
都执行以下命令，在“/usr/bin/”目录下添加“python3”的软连接。 cd /usr/bin ln -s python3 python 重新启动HetuEngine计算实例。 父主题： HetuEngine故障排除
jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能互相序列化ID不一样，建议使用集群自带jar包。 jackson-*
升级Python后无法登录Manager页面 用户问题 升级Python后，登录不进去MRS Manager页面。 问题现象 自行升级Python后，使用admin账号且密码正确的情况下登录不进去MRS Manager页面。 原因分析 用户升级Python版本到Python3.x
Python3访问Hive样例程序 功能介绍 本章节介绍如何使用Python3连接Hive执行数据分析任务。 样例代码 以下分析任务示例在“hive-examples/python3-examples/pyCLI_nosec.py”文件中。 导入hive类 from pyhive
开源Kylin 3.x与MRS 1.9.3对接时存在Jetty兼容性问题如何处理？ 出于安全考虑，MRS对部分存在严重安全漏洞的开源三方组件进行了版本升级，导致开源Kylin与MRS 1.9.3版本进行对接时存在Jetty版本的兼容性问题。 按以下步骤进行操作可以完成部署和对接。
调测Hive Python3样例程序 Python3样例工程的命令行形式运行 赋予“python3-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令： chmod +x python3-examples -R。 在python3-examples/pyCLI_nosec
如何获取Spark Jar包？ 华为提供开源镜像站（网址为https://mirrors.huaweicloud.com/），各服务样例工程依赖的jar包都可在华为开源镜像站下载，剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。 本地环境使用开发
PyFlink样例程序开发思路 假定业务平台需要提交Flink任务到MRS集群，业务平台主要使用的语言是Python，提供Python读写Kafka作业和Python提交SQL作业的样例。 本场景适用于MRS 3.3.0及以后的集群版本。 父主题： PyFlink样例程序
PyFlink样例程序开发思路 假定业务平台需要提交Flink任务到MRS集群，业务平台主要使用的语言是Python，提供Python读写Kafka作业和Python提交SQL作业的样例。 本场景适用于MRS 3.3.0及以后的集群版本。 父主题： PyFlink样例程序
基于Python3的Hive样例程序 功能介绍 本章节介绍如何使用Python3连接Hive执行数据分析任务。 样例代码 安全模式连接Hive前需要使用集群客户端进行认证，使用kinit命令认证相应权限的Kerberos用户，认证后执行分析任务示例在“hive-examples/
MRS集群节点使用pip3安装Python时提示网络不可达 问题现象 执行pip3 install安装Python时报错网络不可达。 具体如下图所示： 原因分析 用户未给Master节点绑定弹性公网IP，造成报错的发生。 处理步骤 登录MRS服务管理控制台。 选择“现有集群”，选
使用Spark执行Hudi样例程序（Python） 使用python写Hudi表 下面代码片段仅为演示，具体代码参见：sparknormal-examples.SparkOnHudiPythonExample.hudi_python_write_example。 插入数据： #insert
Spark Structured Streaming样例程序（Python） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
