job.setSpeculativeExecution(false); 抓网页阶段,不允许同一个任务运行多次,否则,网页就抓重了 为了充分利用闲置资源,加快map 和 reduce 的执行,于是有SpeculativeExecution机制,同时运行多个map 或 reduce,先运行完的获胜,其他的干掉
job.setSpeculativeExecution(false); 抓网页阶段,不允许同一个任务运行多次,否则,网页就抓重了 为了充分利用闲置资源,加快map 和 reduce 的执行,于是有SpeculativeExecution机制,同时运行多个map 或 reduce,先运行完的获胜,其他的干掉