云服务器内容精选

华为云首页用户手册

MapReduce应用开发概述

MAPREDUCE服务 MRS-MapReduce应用开发流程介绍

MapReduce应用开发流程介绍开发流程中各阶段的说明如图1和表1所示。图1 MapReduce应用程序开发流程表1 MapReduce应用开发的流程说明阶段说明参考文档了解基本概念在开始开发应用前，需要了解MapReduce的基本概念。 MapReduce应用开发常用概念准备开发环境使用Eclipse工具，请根据指导完成开发环境配置。准备Eclipse与JDK 准备运行环境 MapReduce的运行环境即MapReduce客户端，请根据指导完成客户端的安装和配置。准备MapReduce应用运行环境获取并导入样例工程或者新建工程 MapReduce提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。或者您可以根据指导，新建一个MapReduce工程。导入并配置MapReduce样例工程根据场景开发工程提供了样例工程。帮助用户快速了解MapReduce各部件的编程接口。 MapReduce统计样例程序开发思路 MapReduce访问多组件样例程序开发思路编译并运行程序指导用户将开发好的程序编译并提交运行。编译并运行MapReduce应用查看程序运行结果程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。查看MapReduce应用调测结果父主题： MapReduce应用开发概述

MAPREDUCE服务 MRS MapReduce应用开发概述
MAPREDUCE服务 MRS-MapReduce应用开发简介

MapReduce应用开发简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个MapReduce作业（application/job）通常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式来处理。框架会对map的输出先进行排序，然后把结果输入给reduce任务，最后返回给客户端。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。 MapReduce主要特点如下：大规模并行计算适用于大型数据集高容错性和高可靠性合理的资源调度父主题： MapReduce应用开发概述

MAPREDUCE服务 MRS MapReduce应用开发概述