Приклади програм MapReduce у Cloudera QuickStart

WordCount – підрахунок слів у текстовому файлі

hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount \
/user/cloudera/input /user/cloudera/output

Grep – пошук слів за регулярним виразом

hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar grep \
/user/cloudera/input /user/cloudera/output ‘Hadoop’

Pi – обчислення числа π методом Монте-Карло

hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100

(де 10 – кількість карт, 100 – кількість ітерацій)

Sort – сортування текстових рядків

hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar sort \
/user/cloudera/input /user/cloudera/sort-output

WordMean – підрахунок середньої довжини слова

hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordmean \
/user/cloudera/input /user/cloudera/wordmean-output

WordMedian – пошук медіани довжини слова

hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordmedian \
/user/cloudera/input /user/cloudera/wordmedian-output

📊 Перевірка результатів

Після виконання будь-якої програми результати будуть у директорії output у HDFS:

hdfs dfs -ls /user/cloudera/output
hdfs dfs -cat /user/cloudera/output/part-r-00000