环境：
hadoop-2.5.0-cdh5.2.0
mahout-0.9-cdh5.2.0
引言
尽管Mahout已经宣布不再继续基于Mapreduce开发，迁移到Spark。可是实际面临的情况是公司集群没有足够的内存支持Spark这仅仅把内存当饭吃的猛兽。再加上项目进度的压力以及开发者的技能现状，所以不得不继续使用Mahout一段时间。
今天记录的是命令行执行ItemCF on Hadoop的过程。
历史
之前读过一些前辈们关于的Mahout ItemCF on Hadoop编程的相关文章。描写叙述的都是怎样基于Mahout编程实现ItemCF on Hadoop。因为没空亲自研究。所以一直遵循前辈们编程实现的做法，比方下面这段在各大博客都频繁出现的代码：
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.util.GenericOptionsParser;
import org.apache.mahout.cf.taste.hadoop.item.RecommenderJob;
public class ItemCFHadoop {
public static void main(String[] args) throws Exception {
JobConf conf = new JobConf(ItemCFHadoop.class);
GenericOptionsParser optionParser = new GenericOptionsParser(conf, args);
String[] remainingArgs = optionParser.getRemainingArgs();
if (remainingArgs.length != 5) {
System.out.println("args length: "+remainingArgs.length);
System.err.println("Usage: hadoop jar <jarname> <package>.ItemCFHadoop <inputpath> <outputpath> <tmppath> <booleanData> <similarityClassname>");
System.exit(2);
}
System.out.println("input : "+remainingArgs[0]);
System.out.println("output : "+remainingArgs[1]);
System.out.println("tempdir : "+remainingArgs[2]);
System.out.println("booleanData : "+remainingArgs[3]);
System.out.println("similarityClassname : "+remainingArgs[4]);
StringBuilder sb = new StringBuilder();
sb.append("--input ").append(remainingArgs[0]);
sb.append(" --output ").append(remainingArgs[1]);
sb.append(" --tempDir ").append(remainingArgs[2]);
sb.append(" --booleanData ").append(remainingArgs[3]);
sb.append(" --similarityClassname ").append(remainingArgs[4]);
conf.setJobName("ItemCFHadoop");
RecommenderJob job = new RecommenderJob();
job.setConf(conf);
job.run(sb.toString().split(" "));
}
}
以上代码是可运行的，仅仅要在命令行中传入正确的參数就能够顺利完毕ItemCF on Hadoop的任务。
可是，假设按这么个代码逻辑。实际上是在Java中做了命令行的工作。为何不直接通过命令行运行呢？
官网资料
前辈们为我指明了道路，ItemCF on Hadoop的任务是通过org.apache.mahout.cf.taste.hadoop.item.RecommenderJob类实现的。
官网（https://builds.apache.org/job/Mahout-Quality/javadoc/）中对于org.apache.mahout.cf.taste.hadoop.item.RecommenderJob类的说明例如以下：
Runs a completely distributed recommender job as a series of mapreduces.
Preferences in the input file should look like userID, itemID[, preferencevalue]
Preference value is optional to accommodate applications that have no notion of a preference value (that is, the user simply expresses a preference for an item, but no degree of preference).
The preference value is assumed to be parseable as a double. The user IDs and item IDs are parsed as longs.
Command line arguments specific to this class are:
--input(path): Directory containing one or more text files with the preference data
--output(path): output path where recommender output should go
--tempDir (path): Specifies a directory where the job may place temp files (default "temp")
--similarityClassname (classname): Name of vector similarity class to instantiate or a predefined similarity from VectorSimilarityMeasure
--usersFile (path): only compute recommendations for user IDs contained in this file (optional)
--itemsFile (path): only include item IDs from this file in the recommendations (optional)
--filterFile (path): file containing comma-separated userID,itemID pairs. Used to exclude the item from the recommendations for that user (optional)
--numRecommendations (integer): Number of recommendations to compute per user (10)
--booleanData (boolean): Treat input data as having no pref values (false)
--maxPrefsPerUser (integer): Maximum number of preferences considered per user in final recommendation phase (10)
--maxSimilaritiesPerItem (integer): Maximum number of similarities considered per item (100)
--minPrefsPerUser (integer): ignore users with less preferences than this in the similarity computation (1)
--maxPrefsPerUserInItemSimilarity (integer): max number of preferences to consider per user in the item similarity computation phase, users with more preferences will be sampled down
(1000)
--threshold (double): discard item pairs with a similarity value below this
为了方便具备英语阅读能力的同学。上面保留了原文，以下是翻译：
执行一个全然分布式的推荐任务，通过一系列mapreduce任务实现。
输入文件里的偏好数据格式为：userID, itemID[, preferencevalue]。
当中。
preferencevalue并非必须的。
userID和itemID将被解析为long类型。preferencevalue将被解析为double类型。
该类能够接收的命令行參数例如以下：
- --input(path): 存储用户偏好数据的文件夹。该文件夹下能够包括一个或多个存储用户偏好数据的文本文件；
- --output(path): 结算结果的输出文件夹
- --tempDir (path): 存储暂时文件的文件夹
- --similarityClassname (classname): 向量相似度计算类。可选的相似度算法包含CityBlockSimilarity，CooccurrenceCountSimilarity，CosineSimilarity，CountbasedMeasure。EuclideanDistanceSimilarity，LoglikelihoodSimilarity。PearsonCorrelationSimilarity,
TanimotoCoefficientSimilarity。注意參数中要带上包名。
- --usersFile (path): 指定一个包括了一个或多个存储userID的文件路径，仅为该路径下全部文件包括的userID做推荐计算 (该选项可选)
- --itemsFile (path): 指定一个包括了一个或多个存储itemID的文件路径，仅为该路径下全部文件包括的itemID做推荐计算 (该选项可选)
- --filterFile (path): 指定一个路径，该路径下的文件包括了[userID,itemID]值对，userID和itemID用逗号分隔。计算结果将不会为user推荐[userID,itemID]值对中包括的item (该选项可选)
- --numRecommendations (integer): 为每一个用户推荐的item数量，默觉得10
- --booleanData (boolean): 假设输入数据不包括偏好数值，则将该參数设置为true，默觉得false
- --maxPrefsPerUser (integer): 在最后计算推荐结果的阶段，针对每个user使用的偏好数据的最大数量，默觉得10
- --maxSimilaritiesPerItem (integer): 针对每一个item的相似度最大值，默觉得100
- --minPrefsPerUser (integer): 在相似度计算中，忽略全部偏好数据量少于该值的用户。默觉得1
- --maxPrefsPerUserInItemSimilarity (integer): 在item相似度计算阶段。针对每一个用户考虑的偏好数据最大数量，默觉得1000
- --threshold (double): 忽略相似度低于该阀值的item对
命令行运行
用于測试的用户偏好数据【userID, itemID, preferencevalue】：
1,101,2
1,102,5
1,103,1
2,101,1
2,102,3
2,103,2
2,104,6
3,101,1
3,104,1
3,105,1
3,107,2
4,101,2
4,103,2
4,104,5
4,106,3
5,101,3
5,102,5
5,103,6
5,104,8
5,105,1
5,106,1
相关基础环境配置完好后。在命令行运行例如以下命令就可以进行ItemCF on Hadoop推荐计算：
hadoop jar $MAHOUT_HOME/mahout-core-0.9-cdh5.2.0-job.jar org.apache.mahout.cf.taste.hadoop.item.RecommenderJob --input /UserPreference --output /CFOutput --tempDir /tmp --similarityClassname org.apache.mahout.math.hadoop.similarity.cooccurrence.measures.LoglikelihoodSimilarity
注：这里仅仅使用了最重要的參数，很多其它的參数使用调优需结合实际项目进行測试。
计算结果【userID [itemID1:score1,itemID2:score2......]】：
1 [104:3.4706533,106:1.7326527,105:1.5989419]
2 [106:3.8991857,105:3.691359]
3 [106:1.0,103:1.0,102:1.0]
4 [105:3.2909648,102:3.2909648]
5 [107:3.2898135]
版权声明：本文博客原创文章。博客，未经同意，不得转载。