检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Python接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的开源API。 Spark Core常用接口 Spark主要使用到如下这几个类： pyspark.SparkContext：是Spark的对外接口。负责向调用该类
HBase基本原理 数据存储使用HBase来承接，HBase是一个开源的、面向列（Column-Oriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。更多关于HBase的信息，请参见：https://hbase
在FusionInsight Manager软件安装及使用过程中，针对Tomcat基于开源做了如下功能增强： 升级Tomcat版本为官方稳定版本。 设置应用程序之下的目录权限为500，对部分目录支持写权限。 系统软件安装完成后自动清除Tomcat安装包。 应用程序目录下针对工程禁用自动部署
开启Native Task特性后，Reduce任务在部分操作系统运行失败 问题 开启Native Task特性后，Reduce任务在部分操作系统运行失败。 回答 运行包含Reduce的Mapreduce任务时，通过-Dmapreduce.job.map.output.collector
Spark Java API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的开源API。 Spark Core常用接口 Spark主要使用到如下这几个类： JavaSparkContext：是Spark的对外接口，负责向调用该类的J
g类型，无法正常使用hive import导入，只能考虑使用hcatalog方式，但是hcatalog方式报错如下： 回答 修改sqoop源码SqoopHCatUtilities中的代码，将限制代码去掉。 修改hive客户端中的hive-site.xml文件，修改hive.metastore
提交作业时系统提示当前用户在Manager不存在如何处理？ 问：安全集群在提交作业时，未进行IAM用户同步，会出现“当前用户在MRS Manager不存在，请先在IAM给予该用户足够的权限，再在概览页签进行IAM用户同步”的错误提示。 答：在提交作业之前，用户需要先在集群详情页的
Presto是一个开源的用户交互式分析查询的SQL查询引擎，用于针对各种大小的数据源进行交互式分析查询。其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、Ad-Hoc查询等场景。 Presto允许查询的数据源包括Hadoop分布式文件系统（HDFS），H
Storm对外接口介绍 Storm-HDFS采用的接口同开源社区版本保持一致，详情参见：https://github.com/apache/storm/tree/v1.2.1/external/storm-hdfs。 Storm-HBase采用的接口同开源社区版本保持一致，详情参见：https://github
Kafka开发应用时，需要准备的开发和运行环境如表1所示： 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装和配置IntelliJ
Storm接口介绍 Storm采用的接口同开源社区版本保持一致，详情请参见： http://storm.apache.org/documentation/Home.html。 Storm-HDFS采用的接口同开源社区版本保持一致，详情参见： https://github.com/
Storm对外接口介绍 Storm-HDFS采用的接口同开源社区版本保持一致，详情参见：https://github.com/apache/storm/tree/v1.2.1/external/storm-hdfs。 Storm-HBase采用的接口同开源社区版本保持一致，详情参见：https://github
Yarn常用配置参数 队列资源分配 Yarn服务提供队列给用户使用，用户分配对应的系统资源给各队列使用。完成配置后，您可以单击“刷新队列”按钮或者重启Yarn服务使配置生效。 参数入口： 用户可在Manager系统中，选择“租户资源 > 动态资源计划 > 队列配置”。 参数说明以修改Su
配置Hive Transform功能开关 操作场景 Hive开源社区版本禁用Transform功能。 MRS Hive提供配置开关，默认为禁用Transform功能，与开源社区版本保持一致。用户可修改配置开关，开启Transform功能，当开启Transform功能时，存在一定的安全风险。
SQL的程序样例代码的运行，其他样例代码暂不提供。 用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓。 编包并运行程序 获取样例代码。 下载样例工程的Maven工程源码和配置文件，请参见获取MRS应用开发样例工程。 将样例代码导入IDEA中。 获取配置文件。 从集群的客
Hive创建ORC存储格式的表，用SparkSQL读取该表时报错： 原因分析 该问题为一个开源社区问题：https://issues.apache.org/jira/browse/HIVE-11102，使用开源的hive 1.2.1版本包就有可能触发此问题。 MRS的Hive for Spark相关模块已修复该问题。
参数中搜索“clientPort”查看。默认端口如下： 开源端口默认值为：2181 定制端口默认值为：24002 端口定制/开源区分：创建LTS版本类型集群时，可以选择“组件端口”为“开源”或是“定制”，选择“开源”使用开源端口，选择“定制”使用定制端口。 运行Zookeeper客户端命令。
配置Hive Transform功能开关 操作场景 Hive开源社区版本禁用Transform功能。 MRS Hive提供配置开关，默认为禁用Transform功能，与开源社区版本保持一致。 用户可修改配置开关，开启Transform功能，当开启Transform功能时，存在一定的安全风险。
dc=com”和“cn=krbadmin,ou=Users,dc=hadoop,dc=com”的密码，以提升系统运维安全性。 该章节仅适用于MRS 3.1.0版本。MRS 3.1.0之后版本请参考修改OMS服务配置章节。 对系统的影响 修改密码后需要重启KrbServer服务。 修改密码后需要确认LDAP管理账户“cn=krbkdc
Loader基本原理 Loader是在开源Sqoop组件的基础上进行了一些扩展，实现MRS与关系型数据库、文件系统之间交换“数据”、“文件”，同时也可以将数据从关系型数据库或者文件服务器导入到HDFS/HBase中，或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
