1.MapReduce程序的运行模式
1. Windows中运行MapReduce程序
(1)mapreduce程序是被提交给LocalJobRunner在本地以单进程的形式运行
(2)而处理的数据及输出结果可以在本地文件系统,也可以在hdfs上
(3)设置MapReduce程序的conf配置参数(不配默认):
(4)本地模式非常便于进行业务逻辑的debug,只要在eclipse中打断点即可
(5)在windows下运行本地模式来测试程序逻辑,需要在windows中配置环境变量:
%HADOOP_HOME% = d:/hadoop-2.6.1 %PATH% = %HADOOP_HOME%in(记得重启)
并且要将d:/hadoop-2.6.4的lib和bin目录替换成windows平台编译的版本
运行程序:
2. 集群运行MapReduce程序
(1)将mr程序提交给yarn集群resourcemanager,分发到很多的节点上并发执行
(2)处理的数据和输出结果应该位于hdfs文件系统
(3)提交集群的实现步骤:
A、将程序打成JAR包,然后在集群的任意一个节点上用hadoop命令启动:
hadoop jar workcount.jar ..WordcountDriver /wc/input1 /wc/output
B、直接在linux的eclipse中运行main方法
(项目中要带参数:mapreduce.framework.name=yarn以及yarn的两个基本配置)
C、如果在windows的eclipse中提交MR到集群运行,则要修改YarnRunner类