检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载并安装集群客户端，用于运行HCatalog程序，例如安装目录为“/opt/client”。 获取样例工程 通过开源镜像站获取样例工程。 下载样例工程的Maven工程源码和配置文件，并在本地配置好相关开发工具，可参考通过开源镜像站获取样例工程。 根据集群版本选择对应的分支，下载并获取MRS相关样例工程。 例如
请从Flink服务端安装目录获取相关的依赖包。 请从Kafka环境中获取Kafka依赖包。 具体依赖包请查看参考信息。 配置Maven。 参考配置华为开源镜像仓章节描述，增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后，在IntelliJ IDEA选择“File
YARN基本原理 为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性，并消除早期MapReduce框架中的JobTracker性能瓶颈，开源社区引入了统一的资源管理框架YARN。 YARN是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建一个
Storm对外接口介绍 Storm-HDFS采用的接口同开源社区版本保持一致，详情参见：https://github.com/apache/storm/tree/v1.2.1/external/storm-hdfs。 Storm-HBase采用的接口同开源社区版本保持一致，详情参见：https://github
请从Kafka环境中获取Kafka依赖包。 具体依赖包请查看样例工程运行依赖包参考信息。 配置Maven。 参考配置华为开源镜像仓章节描述，增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后，在IntelliJ IDEA选择“File
Storm对外接口介绍 Storm-HDFS采用的接口同开源社区版本保持一致，详情参见：https://github.com/apache/storm/tree/v1.2.1/external/storm-hdfs。 Storm-HBase采用的接口同开源社区版本保持一致，详情参见：https://github
Storm接口介绍 Storm采用的接口同开源社区版本保持一致，详情请参见： http://storm.apache.org/documentation/Home.html。 Storm-HDFS采用的接口同开源社区版本保持一致，详情参见： https://github.com/
配置Hive Transform功能开关 操作场景 Hive开源社区版本禁用Transform功能。 MRS Hive提供配置开关，默认为禁用Transform功能，与开源社区版本保持一致。用户可修改配置开关，开启Transform功能，当开启Transform功能时，存在一定的安全风险。
数据库配置—Derby数据库配置过程 首先应下载一个数据库，可根据具体场景选择最适合的数据库。 该任务以Derby数据库为例。Derby是一个小型的，java编写的，易于使用却适合大多数应用程序的开放源码数据库。 Derby数据库的获取。在官网下载最新版的Derby数据库(本示例使用10
数据库配置—Derby数据库配置过程 首先应下载一个数据库，可根据具体场景选择最适合的数据库。 该任务以Derby数据库为例。Derby是一个小型的，java编写的，易于使用却适合大多数应用程序的开放源码数据库。 Derby数据库的获取。在官网下载最新版的Derby数据库，将下
MapReduce服务通常使用的基础资源如下，配额由各个基础服务管理，如需扩大配额，请联系对应服务的技术支持进行扩容： 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
服务器。 弹性云服务器的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。例如，选择一个标准镜像“Windows Server 2012 R2 Standard 64bit(40GB)”。 其他配置参数详细信息，请参见购买弹性云服务器。
配置Hive Transform功能开关 操作场景 Hive开源社区版本禁用Transform功能。 MRS Hive提供配置开关，默认为禁用Transform功能，与开源社区版本保持一致。 用户可修改配置开关，开启Transform功能，当开启Transform功能时，存在一定的安全风险。
数据库配置—Derby数据库配置过程 首先应下载一个数据库，可根据具体场景选择最适合的数据库。 该任务以Derby数据库为例。Derby是一个小型的，java编写的，易于使用却适合大多数应用程序的开放源码数据库。 Derby数据库的获取。在官网下载最新版的Derby数据库，将下
在“Dependencies”页面，修改“Module SDK”为“SDKs”中添加的JDK。 单击“Apply”，单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述，增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后，在IntelliJ IDEA选择“File
在“Dependencies”页面，修改“Module SDK”为“SDKs”中添加的JDK。 单击“Apply”，单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述，增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后，在IntelliJ IDEA选择“File
服务器。 弹性云服务器的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。例如，选择一个标准镜像“Windows Server 2012 R2 Standard 64bit(40GB)”。 其他配置参数详细信息，请参见购买弹性云服务器。
Kafka Java API介绍 Kafka相关接口同开源社区保持一致，详情请参见https://kafka.apache.org/24/documentation.html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers
Kafka Java API接口介绍 Kafka相关接口同开源社区保持一致，详情请参见https://kafka.apache.org/24/documentation.html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers
Spark Scala API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的开源API。 Spark Core常用接口 Spark主要使用到如下这几个类： SparkContext：是Spark的对外接口，负责向调用该类的scal
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
