文本处理常用命令

1,使用awk找到需要的字段 

  awk -F ',' '{print $2}' input.txt > output.txt

解释： 寻找以逗号为分割的第二个字段

2，使用awk过滤掉不符合长度的行(包括过滤空行)

  awk ' length($1)>4' input.txt > output.txt

解释：每行的第一个字段长度>4时打印结果

3,使用sed去掉不需要的字符

  sed 's/todelete//' input.txt > output.txt

4,合并文件

  cat input1.txt input2.txt > output.txt

5,去掉重复行

  cat input.txt | sort | uniq > output.txt

6,按照字符串长度排序

cat input.txt | awk '{print length($1),$1}' | sort -n | awk '{print $2}'  > output.txt