虽然ArrayWritable不是接口,但貌似必须要子类去extends ArrayWritable,不能直接用ArrayWriable
否则会报下面的错误?(不是很确定)
java.lang.Exception: java.lang.RuntimeException: java.lang.NoSuchMethodException: org.apache.hadoop.io.ArrayWritable.<init>()
下面是我自己实现的ArrayWritable,完全是自己摸索的网上看到的几篇感觉都不是很靠谱
这个是为了Reduce输出结果中包含一个list,我研究一个晚上的时间,才把它弄好,结果后来发现标准答案,是用StringBuffer把list中的每个元素一个一个append然后输出的……
这样真的简化了太多的代码,而且实现难度变得低了不少。看来写代码还是要多动脑子。
不过唯一的好处是研究了一下ArrayWritable的源码,同时自己实现了这个父类,也算是有所收获
import org.apache.hadoop.io.ArrayWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.io.WritableFactories; /** * 自己实现ArrayWritable类,直接用好像会出问题 * @author wmxl * */ class TextArrayWritable extends ArrayWritable { //父类其实有一个private的value,可以直接用那个,具体看ArrayWritable源码 private Text[] myValue = new Text[0]; public Text[] getMyValue() { return myValue; } public void setMyValue(Text[] myValue) { this.myValue = myValue; } //这两个构造方法一定要实现TextArrayWritable() 和 TextArrayWritable(String[] strings) 而且里面要写super(Text.class) public TextArrayWritable() { super(Text.class); } public TextArrayWritable(String[] strings) { super(Text.class); Text[] texts = new Text[strings.length]; for (int i = 0; i < strings.length; i++) { texts[i] = new Text(strings[i]); } // set(texts); //这个是set父类的value setMyValue(texts); } @Override public void readFields(DataInput in) throws IOException { //这两个方法都是copy父类的,稍作改动,看的不是很懂 myValue = new Text[in.readInt()]; // construct values for (int i = 0; i < myValue.length; i++) { Text value = (Text) WritableFactories.newInstance(Text.class); value.readFields(in); // read a value myValue[i] = value; // store it in values } } @Override public void write(DataOutput out) throws IOException { //同上 out.writeInt(myValue.length); // write values for (int i = 0; i < myValue.length; i++) { myValue[i].write(out); } } /** * 重写这个方法,让最后write文件中的结果是你想要的样子 */ @Override public String toString() { StringBuffer result = new StringBuffer(); for(int i =0; i < this.getMyValue().length; i++){ if(i == this.getMyValue().length -1) result.append(this.getMyValue()[i].toString()); else result.append(this.getMyValue()[i].toString()).append(","); } return result.toString(); } public void add(String friend){ int len = getMyValue().length; Text[] newValue = new Text[len + 1]; for(int i = 0; i < len + 1; i++){ if(i < len) newValue[i] = getMyValue()[i]; else newValue[i] = new Text(friend); } myValue = newValue; } /** * 自己写的添加元素方法 * @param friend */ public void add(Text friend){ int len = getMyValue().length; Text[] newValue = new Text[len + 1]; for(int i = 0; i < len + 1; i++){ if(i < len) newValue[i] = getMyValue()[i]; else newValue[i] = new Text(friend); } myValue = newValue; } }
参考了这篇文章:https://www.cnblogs.com/yancey/p/3946513.html