云服务器内容精选

华为云首页用户手册

MapReduce开发指南（安全模式）

MAPREDUCE服务 MRS-MapReduce应用开发简介:MapReduce简介

MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。一个MapReduce作业（application/job）通常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式来处理。框架会对map的输出先进行排序，然后把结果输入给reduce任务，最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。 MapReduce主要特点如下：大规模并行计算适用于大型数据集高容错性和高可靠性合理的资源调度

MAPREDUCE服务 MRS MapReduce开发指南（安全模式）
MAPREDUCE服务 MRS-MapReduce样例工程介绍

MapReduce样例工程介绍 MRS 样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。当前MRS提供以下MapReduce相关样例工程：表1 MapReduce相关样例工程样例工程位置描述 mapreduce-example-security MapReduce统计数据的应用开发示例：提供了一个MapReduce统计数据的应用开发示例，通过类CollectionMapper实现数据分析、处理，并输出满足用户需要的数据信息。相关样例介绍请参见MapReduce统计样例程序。 MapReduce作业访问多组件的应用开发示例：以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。相关样例介绍请参见MapReduce访问多组件样例程序。父主题： MapReduce开发指南（安全模式）

MAPREDUCE服务 MRS MapReduce开发指南（安全模式）
MAPREDUCE服务 MRS-MapReduce应用开发简介:MapReduce简介

MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个MapReduce作业（application/job）通常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式来处理。框架会对map的输出先进行排序，然后把结果输入给reduce任务，最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。 MapReduce主要特点如下：大规模并行计算适用于大型数据集高容错性和高可靠性合理的资源调度

MAPREDUCE服务 MRS MapReduce开发指南（安全模式）