前言

　　MapReduce是Google提出的一個軟件架構(gòu)，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算。概念“Map（映射）”和“Reduce（規(guī)約）”，和它們的主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的特性。MapReduce極大地方便了編程人員在不會分布式并行編程的情況下，將自己的程序運行在分布式系統(tǒng)上。當前的軟件實現(xiàn)是指定一個Map（映射）函數(shù)，用來把一組鍵值對映射成一組新的鍵值對，指定并發(fā)的Reduce（規(guī)約）函數(shù)，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。

　　關(guān)于mapreduce的應(yīng)用開發(fā)

　　第一步：清楚問題是什么，確定解決問題的算法思路。

　　第二步：設(shè)計和實現(xiàn)mapreduce程序中的Mapper接口，Reducer接口。它們是MapReduce作業(yè)的核心。 （0.20.2以后的API使用Mapper和Reducer抽象類，這樣便于擴展）

　　Mapper Mapper 將輸入一個的key/value映射到0個或者多個中間格式的key/value形式。 用戶需要實現(xiàn)map（WritableComparble，Writalbe，OutputCollector，Reporter）方法完成輸入到輸出的處理。同時可以選擇重寫JobConfigurable.configure（JobConf）方法完成Mapper的初始化工作；重寫Closeable.close（ ）方法執(zhí)行Mapper的清理工作。因為MapReduceBase實現(xiàn)了JobConfigurable和Closeable接口，因此程序只要繼承MapReduceBase就可以。 程序通過調(diào)用OutputCollector.collect（WritableComparable，Writable）

　　方法收集輸出的鍵值對（Mapper輸出鍵值對不需要與輸入鍵值對的類型一致），通Reporter報告進度，更新Counters表明自己正常運行。 至此Mapper過程結(jié)束，下面進入Sort&Shuffle過程。

　　Sort&Shuffle

　　得到mapper輸出的中間結(jié)果后，傳遞給Reducer執(zhí)行前會經(jīng)歷一個分組-》合并-》分配的過程。

　　1. 框架會按照key值，把所有中間結(jié)果的進行分成組。用戶可以通過 JobConf.setOutputKeyComparatorClass（Class）來指

　　定具體負

　　責分組的Comparator。

　　2. 用戶可以通過JobConf.setCombinerClass（Class）指定一個combiner，它負責對 中間過程的輸出進行本地的聚集，這會有助于降低從Mapper到Reducer數(shù)

　　據(jù)傳輸量。（如WordCount會把key值相同的次數(shù)累加）

　　3. 用戶可以指定或者自定義實現(xiàn)Partitioner來控制具體的key被分配到那個Reducer。Partitioner通常使用的是Hash函數(shù)。HashPartitioner是默認的Partitioner。Partitioner分塊的總數(shù)目和一個作業(yè)的reduce任務(wù)的數(shù)目是一樣的。

　　Sort&Shuffle的過程至此結(jié)束，Reducer過程開始。

　　Reducer Reducer會把Mapper的輸出作為輸入，因此Reducer的輸入類型需要與Mapper的輸出類型一致，Reducer任務(wù)會將輸入的key/value歸并為一個更小的結(jié)果集。用戶需要實現(xiàn) reduce（WritableComparable， Iterator， OutputCollector， Reporter）方法來對輸入的key/value進行處理，同Mapper過程一樣，用戶可以選擇重寫JobConfigurable.configure（JobConf）方法完成Mapper的初始化工作，重寫Closeable.close（）

　　方法執(zhí)行Mapper的清理工作。 用戶可以通過JobConf.setNumReduceTasks（int）來設(shè)定一個作業(yè)中reduce任務(wù)的數(shù) 目。 Reduce任務(wù)調(diào)用OutputCollector.collect（WritableComparable， Writable）將處理結(jié)果寫入HDFS。任務(wù)通過Reporter報告進度，至此MapReduce任務(wù)結(jié)束。

　　OutputCollector

　　OutputCollector是一個MapReduce框架提供的用于收集Mapper或Reducer輸出數(shù)據(jù)的通用機制 （包括中間輸出結(jié)果和作業(yè)的輸出結(jié)果）。同時hadoop類庫提供了豐富的outputFormat以供選擇，支持文本輸出，二進制輸出，序列化輸出，數(shù)據(jù)庫輸出等等。

　　Writable

　　Hadoop中，節(jié)點之間的進程通信通過RPC（remote procedures call）來實現(xiàn)。RPC中將消息序列化為二進制流，此后，將二進制流反序列化為消息，是進程間通信的靈魂所在，因此可用的RPC具有，緊湊，快速，可擴展，互操作等特點。 Hadoop實現(xiàn)了自己的序列化機制，相比于java自帶的序列化java object serialization，Hadoop的序列化更加緊湊，快速。同時Hadoop封裝了java中的基本類型，便于進程間的通信，用戶也可以自定義Writable類，只要實現(xiàn)Writable接口即可。

　　JobConf

　　JobConf代表一個MapReduce作業(yè)的配置?？蚣軙凑罩付ǖ呐渲?a target="_blank">信息去完成MapReduce任務(wù)，其中的配置信息比較多，有興趣的可以去官網(wǎng)了解http://hadoop.apache.org/。通常，JobConf會指明Mapper、Combiner、Partitioner、Reducer、InputFormat和OutputFormat的具體實現(xiàn)，一組輸入文件，以及輸出文件的目錄。

　　第三步：設(shè)置作業(yè)調(diào)度。

　　mapreduce程序與很多編程有所不同，它是一種函數(shù)型編程，完全地展現(xiàn)了“分而治之”的哲學思想，是分布式系統(tǒng)下一種強有力的處理工具。

　　因而，用戶編寫mapreduce程序時，一方面要具備mapreduce程序思想；另一方面要符合mapreduce程序開發(fā)流程。同時，通過多寫mapreduce程序，掌握并熟悉這種編程模型。