1.使用mr进行合并
2.使用getmerge 将文件拉取到本地,再上传到hdfs,注意nl参数
3.使用appendToFile
4.使用hadoop提供的打包压缩技术
Usage: hadoop fs [generic options]
[-appendToFile … ]
[-getmerge [-nl] ]
hdfs dfs -getmerge -nl /user/hive/warehouse/achi/20* /data/t1.txt
1.使用mr进行合并
2.使用getmerge 将文件拉取到本地,再上传到hdfs,注意nl参数
3.使用appendToFile
4.使用hadoop提供的打包压缩技术
Usage: hadoop fs [generic options]
[-appendToFile … ]
[-getmerge [-nl] ]
hdfs dfs -getmerge -nl /user/hive/warehouse/achi/20* /data/t1.txt