Python开发MapReduce系列之WordCount Demo

 import sys        for line in sys.stdin:        word_list = line.strip().split(' ')            for word in word_list:            print '	'.join([word.strip(), str(1)])

 import sys        cur_word = None    sum = 0        for line in sys.stdin:        ss = line.strip().split('	')                if len(ss) <p><span class="cnblogs_code_collapse">View Code</span></p><p><span>立即学习</span>“<a href="https://pan.quark.cn/s/00968c3c2c15" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">Python免费学习笔记（深入）</a>”；</p><p>资源文件 src.txt（测试用，在集群中跑时，记得上传到hdfs上）：</p><pre class="brush:php;toolbar:false">hello        ni hao ni haoni hao ni hao ni hao ni hao ni hao ni hao ni hao ni hao ni hao ni hao ni hao ao ni haoni hao ni hao ni hao ni hao ni hao ni hao ni hao ni hao ni hao ni hao ni haoao ni haoni hao ni hao ni hao ni hao ni hao ni hao ni hao ni hao ni hao ni hao ni hao    Dad would get out his mandolin and play for the family    Dad loved to play the mandolin for his family he knew we enjoyed singing    I had to mature into a man and have children of my own before I realized how much he had sacrificed    I had to,mature into a man and,have children of my own before.I realized how much he had sacrificed

cat src.txt | python map.py | sort -k 1 | python reduce.py

a    2    and    2    and,have    1    ao    1    before    1    before.I    1    children    2    Dad    2    enjoyed    1    family    2    for    2    get    1    had    4    hao    33    haoao    1    haoni    3    have    1    he    3    hello    1    his    2    how    2    I    3    into    2    knew    1    loved    1    man    2    mandolin    2    mature    1    much    2    my    2    ni    34    of    2    out    1    own    2    play    2    realized    2    sacrificed    2    singing    1    the    2    to    2    to,mature    1    we    1    would    1

HADOOP_CMD="/home/hadoop/hadoop/bin/hadoop"    STREAM_JAR_PATH="/home/hadoop/hadoop/contrib/streaming/hadoop-streaming-1.2.1.jar"        INPUT_FILE_PATH="/home/input/src.txt"    OUTPUT_PATH="/home/output"        $HADOOP_CMD fs -rmr  $OUTPUT_PATH         $HADOOP_CMD jar $STREAM_JAR_PATH         -input $INPUT_FILE_PATH         -output $OUTPUT_PATH             -mapper "python map.py"         -reducer "python reduce.py"         -file ./map.py         -file ./reduce.py

　HADOOP_CMD： hadoop的bin的路径    STREAM_JAR_PATH：streaming jar包的路径    INPUT_FILE_PATH：hadoop集群上的资源输入路径    OUTPUT_PATH：hadoop集群上的结果输出路径。（注意：这个目录不应该存在的，因此在脚本加了先删除这个目录。**注意****注意****注意**：若是第一次执行，没有这个目录，会报错的。可以先手动新建一个新的output目录。）    $HADOOP_CMD fs -rmr  $OUTPUT_PATH        $HADOOP_CMD jar $STREAM_JAR_PATH         -input $INPUT_FILE_PATH         -output $OUTPUT_PATH             -mapper "python map.py"         -reducer "python reduce.py"              -file ./map.py         -file ./reduce.py                       #这里固定格式，指定输入，输出的路径；指定mapper，reducer的文件；      #并分发mapper，reducer角色的我们用户写的代码文件，因为集群其他的节点还没有mapper、reducer的可执行文件。

cat src.txt | python map.py | sort -k 1 | python reduce.py | wc -l命令行中输出：43

Kind    % Complete    Num Tasks    Pending    Running    Complete    Killed     Failed/Killed Task Attemptsmap       100.00%        2            0        0        2            0            0 / 0reduce    100.00%        1            0        0        1            0            0 / 0

Counter                    Map    Reduce    TotalReduce output records    0    0        43