11合并与分割
s o r t命令的一般格式为：
sort -cmu -o output_file [other options] +pos1 +pos2 input_files
下面简要介绍一下s o r t的参数：
-c 测试文件是否已经分类。
-m 合并两个分类文件。
-u 删除所有复制行。
-o 存储s o r t结果的输出文件名。
其他选项有：
-b 使用域进行分类时，忽略第一个空格。
-n 指定分类是域上的数字分类。
-t 域分隔符；用非空格或t a b键分隔域。
-r 对分类次序或比较求逆。
+n n为域号。使用此域号开始分类。
n n为域号。在分类比较时忽略此域，一般与+ n一起使用。
post1 传递到m，n。m为域号，n为开始分类字符数；例如4，6意即以第5域分类，从第7个字符开始。
例子：
基本sort
sort video.txt>results.out
sort分类求逆
sort -t: -r video.txt
按指定域分类
sort -t: +1 video.txt
数值域分类
sort -t: +3n video.txt
输出结果为：
Alien:HK:119:1982
Boys in Company C:HK:192:2192
The Hill:KL:63:2972
Toy Story:HK:239:3972
Star Wars:HK:301:4102
Aliens:HK:532:4892
A Few Good Men:KL:445:5851
s o r t还有另外一些方法指定分类键。可以指定k选项
sort -t: -r -k4 -k1 video.txt
注意：k选项是从1开始计数
开始以域0分类，忽略域2，然后再使用域3分类。
sort -t: +0 -2 +3 video.txt
pos用法
+ 1 . 2，意即以第1域最左边第3个字符开始分类，
sort -t: -r +1.2 video2.txt
使用head和tail将输出分类
显示最大的一行
sort -t: -r -k4 video.txt | head -1
显示倒数两行
sort -t: -r -k4 video.txt | tail -2
如果使用h e a d或t a i l时想省略显示行数，缺省时显示1 0行
sort -t: -r -k4 video.txt | tail -1 |awk -F: '{print "Worst rental",$1,"has been rented "$3""}'
系统sort
cat /etc/passwd | sort -t: +0 |awk -F":" '{print $1}'
uniq用法
u n i q用来从一个文本文件中去除或禁止重复行
命令一般格式：
uniq -u d c -f input-file output-file
-u 只显示不重复行。
-d 只显示有重复数据行，每种重复行只显示其中一行
-c 打印每一重复行出现次数。
-f n为数字，前n个域被忽略。一些系统不识别- f选项，这时替代使用- n
例子：
# cat myfile.txt
May Day
May Day
May Day
Going Down
May Day
# uniq myfile.txt
May Day
Going Down
May Day
# uniq -c myfile.txt
3 May Day
1 Going Down
1 May Day
使用- d显示重复出现的不唯一行：
# uniq -d myfile.txt
May Day
对特定域进行测试
使用- n只测试一行一部分的唯一性。
# cat parts.txt
AK123 OP
DK122 OP
EK999 OP
# uniq -f1 parts.txt
AK123 OP
# uniq -f0 parts.txt
AK123 OP
DK122 OP
EK999 OP
Join用法
- a 1显示第一个文件的不匹配行，- a 2为从第二个文件中显示不匹配行。
n.m n为文件号，m为域号。1 . 3表示只显示文件1第三域，每个n，m必须用逗号分隔，如1 . 3，2 . 1。
# cat name.txt
M.Golls 12 Hidd Rd
P.Heller The Acre
P.Willey 132 The Grove
T.Norms 84 Connaught Rd
K.Fletch 12 Woodlea
# cat town.txt
M.Golls Norwich NRD
P.Willey Galashiels GDD
T.Norms Brandon BSL
K.Fletch Mildenhall MAF
普通的JOIN
# join name.txt town.txt
M.Golls 12 Hidd Rd Norwich NRD
P.Willey 132 The Grove Galashiels GDD
T.Norms 84 Connaught Rd Brandon BSL
K.Fletch 12 Woodlea Mildenhall MAF
显示不匹配的行
# join -a1 -a2 name.txt town.txt
M.Golls 12 Hidd Rd Norwich NRD
P.Heller The Acre
P.Willey 132 The Grove Galashiels GDD
T.Norms 84 Connaught Rd Brandon BSL
K.Fletch 12 Woodlea Mildenhall MAF
以下显示相同结果
# join -a1 name.txt town.txt
M.Golls 12 Hidd Rd Norwich NRD
P.Heller The Acre
P.Willey 132 The Grove Galashiels GDD
T.Norms 84 Connaught Rd Brandon BSL
K.Fletch 12 Woodlea Mildenhall MAF
选择性连接
使用- o选项选择连接域
使用1 . 1显示第一个文件第一个域，2 . 2显示第二个文件第二个域，其间用逗号分隔。命令为：
# join -o 1.1,2.2 name.txt town.txt
M.Golls Norwich
P.Willey Galashiels
T.Norms Brandon
K.Fletch Mildenhall
使用-jn m进行其他域连接
例如用文件1域3和文件域2做连接键，命令为
# cat pers
P.Jones Office Runner ID897
S.Round UNIX admin ID666
L.Clip Personl Chief ID982
# cat pers2
Dept2C ID897 6 years
Dept3S ID666 2 years
Dept5Z ID982 1 years
# join -j1 4 -j2 2 pers pers2 无法显示，有疑问
应该是 join -1 4 -2 2 pers pers2
# join -1 4 -2 4 -o 1.1,1.2,1.3,2.1,2.2,2.3,2.4 jtxt1 jtxt2
Feb 22 14:53 Feb 22 14:57 /data/oracle/LNWASP1/data1/LNWASP1_QUEST_SMALL1_DATA_01.dbf
Feb 22 14:53 Feb 22 14:57 /data/oracle/LNWASP1/data1/LNWASP1_audits01.dbf
Feb 22 14:54 Feb 22 14:58 /data/oracle/LNWASP1/data1/LNWASP1_data01_01.dbf
Feb 22 14:54 Feb 22 14:58 /data/oracle/LNWASP1/data1/LNWASP1_index01_01.dbf
Feb 22 14:53 Feb 22 14:57 /data/oracle/LNWASP1/data1/LNWASP1_tools_01.dbf
Feb 22 14:53 Feb 22 14:57 /data/oracle/LNWASP1/data1/LNWASP1_users_01.dbf
Feb 22 14:53 Feb 22 14:57 /data/oracle/LNWASP1/index1/LNWASP1_sysaux02.dbf
Feb 22 14:53 Feb 22 14:57 /data/oracle/LNWASP1/index1/LNWASP1_sysaux03.dbf
Feb 22 14:54 Feb 22 14:58 /data/oracle/LNWASP1/redo1/LNWASP1_ctl_01.dbf
Feb 22 14:54 Feb 22 14:58 /data/oracle/LNWASP1/redo2/LNWASP1_ctl_02.dbf
Feb 22 14:54 Feb 22 14:58 /data/oracle/LNWASP1/redo3/LNWASP1_ctl_03.dbf
Feb 22 14:54 Feb 22 14:58 /data/oracle/LNWASP1/rollback/LNWASP1_undotbs01.dbf
Feb 22 14:53 Feb 22 14:57 /data/oracle/LNWASP1/system/LNWASP1_sysaux01.dbf
Feb 22 14:53 Feb 22 14:57 /data/oracle/LNWASP1/system/LNWASP1_system01.dbf
Feb 22 05:06 Feb 22 05:06 /data/oracle/LNWASP1/temp/LNWASP1_temp01.dbf
(/apps/oracle/scripts/ADHOC/DOBCPFILETSCHECK/tmp) (/apps/oracle/scripts/ADHOC/DOBCPFILETSCHECK/tmp)
c u t用法
用来从标准输入或文本文件中剪切列或域。剪切文本可以将之粘贴到一个文本文件。
c u t一般格式为：
cut [options] file1 file2
下面介绍其可用选项：
-c list 指定剪切字符数。
-f field 指定剪切域数。
-d 指定与空格和t a b键不同的域分隔符。
- c用来指定剪切范围，如下所示：
- c 1，5-7 剪切第1个字符，然后是第5到第7个字符。
-c1-50 剪切前5 0个字符。
-f 格式与- c相同。
-f 1，5 剪切第1域，第5域。
- f 1，10-12 剪切第1域，第1 0域到第1 2域。
例子：
# cut -d: -f1,6 /etc/passwd
# ls -l|cut -c3-6
# who -u | cut -c1-8
p a s t e用法
格式为；
paste -d -s -file1 file2
选项含义如下：
-d 指定不同于空格或t a b键的域分隔符。例如用@分隔域，使用- d @。
-s 将每个文件合并成行而不是按行粘贴。
- 使用标准输入。例如ls -l |paste ，意即只在一列上显示输出。
# paste pers pers2
P.Jones Office Runner ID897 Dept2C ID897 6 years
S.Round UNIX admin ID666 Dept3S ID666 2 years
L.Clip Personl Chief ID982 Dept5Z ID982 1 years
# ls -l|paste –s 按照一行粘贴
# paste -s pers pers2
P.Jones Office Runner ID897 S.Round UNIX admin ID666 L.Clip Personl Chief ID982
Dept2C ID897 6 years Dept3S ID666 2 years Dept5Z ID982 1 years
p a s t e命令还有一个很有用的选项（ -）。意即对每一个（ -），从标准输入中读一次数据。
ls | paste -d" " - - - -
p l i t用法
命令一般格式：
split -output_file-size input-filename output-filename
这里o u t p u t - f i l e - s i z e指的是文本文件被分割的行数。s p l i t查看文件时，o u t p u t - f i l e - s i z e选项
指定将文件按每个最多1 0 0 0行分割。
tr 用法
t r用来从标准输入中通过替换或删除操作进行字符转换。t r主要用于删除文件中控制字符或进行字符转换。使用t r时要转换两个字符串：字符串1用于查询，字符串2用于处理各种转换。
带有最常用选项的t r命令格式为：
t r - c - d - s [ " s t r i n g 1 _ t o _ t r a n s l a t e _ f r o m " ] [ " s t r i n g 2 _ t o _ t rannsulta_t e _ t o " ] input-f i l e
这里：
-c 用字符串1中字符集的补集替换此字符集，要求字符集为A S C I I。
-d 删除字符串1中所有输入字符。
-s 删除所有重复出现字符序列，只保留第一个；即将重复出现字符串压缩为一个字符串。
I n p u t - f i l e是转换文件名。虽然可以使用其他格式输入，但这种格式最常用。
使用t r时，可以指定字符串列表或范围作为形成字符串的模式。这看起来很像正则表达式，但实际上不是。指定字符串1或字符串2的内容时，只能使用单字符或字符串范围或列表。
[a-z] a-z内的字符组成的字符串。
[A-Z] A-Z内的字符组成的字符串。
[0-9] 数字串。
/octal 一个三位的八进制数，对应有效的A S C I I字符。
[O*n] 表示字符O重复出现指定次数n。因此[ O * 2 ]匹配O O的字符串。
# cat oops.txt
And the cowwwwwwwwwwwwws went homeeeeeeeeeeeee
Or did theyyyyyyyy
# tr -s "[a-z]"<oops.txt
And the cows went home
Or did they
如果是替换单字符，不需要引号
# tr -s w<oops.txt
And the cows went homeeeeeeeeeeeee
Or did theyyyyyyyy
# cat oops.txt | tr -s "[a-z]"
And the cows went home
Or did they
删除空行
以下格式都可以:
tr -s "["012]" < plane.txt
tr -s "["n]" < plane.txt
tr -s ['"n'] < plane.txt
tr -s '["n]' < plane.txt
转换大小写
tr "[a-z]" "[A-Z]" <quote.txt 小写全部变大写
tr "[a-z]" "[A-Z]" <quote.txt|tee quote4.txt quote5.txt
cat quote.txt |tr "[:lower:]" "[:upper:]"
删除指定字符
# cat jtxt1|tr -cs "[a-z][A-Z]" "["012*]"
去除通过ftp上传的文件的控制符号
用t a b键替换^ ^ ^ ^ ^ ^，命令为" " 1 3 6 " " [ " 0 11 * ] "。将结果重定向到临时工作文件s t a t . t m p。
# tr -s "["136]" "["011*]" <stat.tr > stat.tmp
用新行替换每行末尾的^ M，并用" n去除^ Z，输入要来自于临时工作文件s t a t . t m p
# tr -s "["015"032]" ""n" < stat.tmp
替换p a s s w d文件中所有冒号，代之以t a b键
# tr -s "[:]" "["011]" </etc/passwd
匹配多于一个字符
用星号代替所有的0。模式为[ 0 * 4 ]，意即匹配至少4个0，替换字符串为星号
tr "[0*4]" "*" < hdisk.txt