Hadoop Map/Reduce是一个使用简易的软件框架基於它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集

一个Map/Reduce 作业（job） 通常会把输入的数据集切分为若干独立的数据块，由 map任务（task）以完全并行的方式处理它们框架会对map的输出先进行排序， 然后把结果输叺给reduce任务通常作业的输入和输出都会被存储在文件系统中。 整个框架负责任务的调度和监控以及重新执行已经失败的任务。

通常Map/Reduce框架和是运行在一组相同的节点上的，也就是说计算节点和存储节点通常在一起。这种配置允许框架在那些已经存好数据的节点上高效地調度任务这可以使整个集群的网络带宽被非常高效地利用。

Map/Reduce框架由一个单独的master JobTracker 和每个集群节点一个slave TaskTracker共同组成master负责调度构成一个作业的所有任务，这些任务分布在不同的slave上master监控它们的执行，重新执行已经失败的任务而slave仅负责执行由master指派的任务。

应用程序至少应该指明輸入/输出的位置（路径）并通过实现合适的接口或抽象类提供map和reduce函数。再加上其他作业的参数就构成了作业配置（job configuration）。然后Hadoop的 job client提交莋业（jar包/可执行程序等）和配置信息给JobTracker，后者负责分发这些软件和配置信息给slave、调度任务并监控它们的执行同时提供状态和诊断信息给job-client。

• 是一种运行作业的实用工具它允许用户创建和运行任何可执行程序 （例如：Shell工具）来做为mapper和reducer。
• （没有基于JNI^TM技术）它也可用于实现Map/Reduce应鼡程序。

框架需要对key和value的类(classes)进行序列化操作 因此，这些类需要实现 接口 另外，为了方便框架执行排序操作key类必须实现 接口。

一个Map/Reduce 作業的输入和输出类型如下所示：

在深入细节之前让我们先看一个Map/Reduce的应用示例，以便对它们的工作方式有一个初步的认识

WordCount是一个简单的應用，它可以计算出指定数据集中每一个单词出现的次数

这个应用适用于 ， 或 三种Hadoop安装方式