• Linux常用命令（6/26）——dd命令和split命令

    dd：用指定大小的块拷贝一个文件，并在拷贝的同时进行指定的转换。

    以可选块长度复制文件，默认情况下从标准输入设备输出到标准输出设备。复制过程中，还可以对文件进行一些转换。

    dd命令可以指定block的大小，按照block对某一个文件进行操作，在对磁盘等设备进行操作的时候，使用dd命令，会非常方便，特别是对块设备进行操作

    注意：指定数字的地方若以下列字符结尾，则乘以相应的数字：b=512；c=1；k=1024；w=2

    dd命令作用：指定大小的块拷贝一个文件，并在拷贝的同时进行指定的转换，起到一个初始化磁盘的作用

    第一句话：从一个文件中拷贝指定大小的内容到一个块

    第二句话：在拷贝文件的时候可以对拷贝的内容进行转换；在拷贝内容的大小不满足块大小的时候，可以进行填充

    第三句话：现在已经明白这个作用，就是格式化磁盘

    参数注释：

    1. if=文件名：输入文件名，缺省为标准输入。即指定源文件。< if=input file >
    2. of=文件名：输出文件名，缺省为标准输出。即指定目的文件。< of=output file >
    3. ibs=bytes：一次读入bytes个字节，即指定一个块大小为bytes个字节。
      obs=bytes：一次输出bytes个字节，即指定一个块大小为bytes个字节。
      bs=bytes：同时设置读入/输出的块大小为bytes个字节。
    4. cbs=bytes：一次转换bytes个字节，即指定转换缓冲区大小。
    5. skip=blocks：从输入文件开头跳过blocks个块后再开始复制。
    6. seek=blocks：从输出文件开头跳过blocks个块后再开始复制。
      注意：通常只用当输出文件是磁盘或磁带时才有效，即备份到磁盘或磁带时才有效。
    7. count=blocks：仅拷贝blocks个块，块大小等于ibs指定的字节数。
    8. conv=conversion：用指定的参数转换文件。
      • ascii：转换ebcdic为ascii
      • ebcdic：转换ascii为ebcdic
      • ibm：转换ascii为alternate ebcdic
      • block：把每一行转换为长度为cbs，不足部分用空格填充
      • unblock：使每一行的长度都为cbs，不足部分用空格填充
      • lcase：把大写字符转换为小写字符
      • ucase：把小写字符转换为大写字符
      • swab：交换输入的每对字节
      • noerror：出错时不停止
      • notrunc：不截短输出文件
      • sync：将每个输入块填充到ibs个字节，不足部分用空（NUL）字符补齐。

    二、dd应用实例

    1.将本地的/dev/hdb整盘备份到/dev/hdd

    1
    dd if=/dev/hdb of=/dev/hdd

    2.将/dev/hdb全盘数据备份到指定路径的image文件

    1
    dd if=/dev/hdb of=/root/image

    3.将备份文件恢复到指定盘

    1
    dd if=/root/image of=/dev/hdb

    4.备份/dev/hdb全盘数据，并利用gzip工具进行压缩，保存到指定路径

    1
    dd if=/dev/hdb | gzip > /root/image.gz

    5.将压缩的备份文件恢复到指定盘

    1
    gzip -dc /root/image.gz | dd of=/dev/hdb

    6.备份与恢复MBR

    备份磁盘开始的512个字节大小的MBR信息到指定文件：

    1
    dd if=/dev/hda of=/root/image count=1 bs=512

    count=1指仅拷贝一个块；bs=512指块大小为512个字节。

    恢复：

    1
    dd if=/root/image of=/dev/had

    将备份的MBR信息写到磁盘开始部分

    7.备份软盘

    1
    dd if=/dev/fd0 of=disk.img count=1 bs=1440k (即块大小为1.44M)

    8.拷贝内存内容到硬盘

    1
    dd if=/dev/mem of=/root/mem.bin bs=1024 (指定块大小为1k)

    9.拷贝光盘内容到指定文件夹，并保存为cd.iso文件

    1
    dd if=/dev/cdrom(hdc) of=/root/cd.iso

    10.增加swap分区文件大小

    第一步：创建一个大小为256M的文件：

    1
    dd if=/dev/zero of=/swapfile bs=1024 count=262144

    第二步：把这个文件变成swap文件：

    1
    mkswap /swapfile

    第三步：启用这个swap文件：

    1
    swapon /swapfile

    第四步：编辑/etc/fstab文件，使在每次开机时自动加载swap文件：

    1
    /swapfile swap swap default 0 0

    11.销毁磁盘数据

    1
    dd if=/dev/urandom of=/dev/hda1

    注意：利用随机的数据填充硬盘，在某些必要的场合可以用来销毁数据。

    12.测试硬盘的读写速度

    1
    2
    dd if=/dev/zero bs=1024 count=1000000 of=/root/1Gb.file
    dd if=/root/1Gb.file bs=64k | dd of=/dev/null

    通过以上两个命令输出的命令执行时间，可以计算出硬盘的读、写速度。

    13.确定硬盘的最佳块大小：

    1
    2
    3
    4
    5
    6
    7
    dd if=/dev/zero bs=1024 count=1000000 of=/root/1Gb.file
     
    dd if=/dev/zero bs=2048 count=500000 of=/root/1Gb.file
     
    dd if=/dev/zero bs=4096 count=250000 of=/root/1Gb.file
     
    dd if=/dev/zero bs=8192 count=125000 of=/root/1Gb.file

    通过比较以上命令输出中所显示的命令执行时间，即可确定系统最佳的块大小。

    14.修复硬盘：

    1
    dd if=/dev/sda of=/dev/sda 或dd if=/dev/hda of=/dev/hda

    当硬盘较长时间(一年以上)放置不使用后，磁盘上会产生magnetic flux point，当磁头读到这些区域时会遇到困难，并可能导致I/O错误。当这种情况影响到硬盘的第一个扇区时，可能导致硬盘报废。上边的命令有可能使这些数 据起死回生。并且这个过程是安全、高效的。

    15.利用netcat远程备份

    1
    dd if=/dev/hda bs=16065b | netcat < targethost-IP > 1234

    在源主机上执行此命令备份/dev/hda

    1
    netcat -l -p 1234 | dd of=/dev/hdc bs=16065b

    在目的主机上执行此命令来接收数据并写入/dev/hdc

    1
    2
    3
    netcat -l -p 1234 | bzip2 > partition.img
     
    netcat -l -p 1234 | gzip > partition.img

    以上两条指令是目的主机指令的变化分别采用bzip2、gzip对数据进行压缩，并将备份文件保存在当前目录。

    16.将一个很大的视频文件中的第i个字节的值改成0x41（也就是大写字母A的ASCII值）

    1
    echo A | dd of=bigfile seek=$i bs=1 count=1 conv=notrunc

    三、/dev/null和/dev/zero的区别

    /dev/null，外号叫无底洞，你可以向它输出任何数据，它通吃，并且不会撑着！

    /dev/zero，是一个输入设备，你可你用它来初始化文件。该设备无穷尽地提供0，可以使用任何你需要的数目——设备提供的要多的多。他可以用于向设备或文件写入字符串0。

    /dev/null——它是空设备，也称为位桶（bit bucket）。任何写入它的输出都会被抛弃。如果不想让消息以标准输出显示或写入文件，那么可以将消息重定向到位桶。

    1
    2
    3
    4
    5
    heng@me:if=/dev/zero of=./test.txt bs=1k count=1
    heng@me:ls –l
    total 4
    -rw-r--r-- 1 oracle dba 1024 Jul 15 16:56 test.txt
    heng@me:find / -name access_log 2>/dev/null

    使用/dev/nul

    把/dev/null看作”黑洞”， 它等价于一个只写文件，所有写入它的内容都会永远丢失.，而尝试从它那儿读取内容则什么也读不到。然而， /dev/null对命令行和脚本都非常的有用

    禁止标准输出

    1
    heng@me:cat $filename >/dev/null #文件内容丢失，而不会输出到标准输出.

    禁止标准错误

    1
    heng@me:rm $badname 2>/dev/null #这样错误信息[标准错误]就被丢到太平洋去了

    禁止标准输出和标准错误的输出

    1
    heng@me:cat $filename 2>/dev/null >/dev/null

    如果”$filename”不存在，将不会有任何错误信息提示；如果”$filename”存在， 文件的内容不会打印到标准输出。因此，上面的代码根本不会输出任何信息。当只想测试命令的退出码而不想有任何输出时非常有用。

    使用/dev/zero

    像/dev/null一样， /dev/zero也是一个伪文件， 但它实际上产生连续不断的null的流（二进制的零流，而不是ASCII型的）。 写入它的输出会丢失不见， 而从/dev/zero读出一连串的null也比较困难， 虽然这也能通过od或一个十六进制编辑器来做到。

    /dev/zero主要的用处是用来创建一个指定长度用于初始化的空文件，就像临时交换文件。

    用/dev/zero创建一个交换临时文件

    关于 /dev/zero 的另一个应用是为特定的目的而用零去填充一个指定大小的文件， 如挂载一个文件系统到环回设备 （loopback device）或"安全地" 删除一个文件。

    例子创建ramdisk

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    #!/bin/bash
    # ramdisk.sh
    # "ramdisk"是系统RAM内存的一段，
    #+ 它可以被当成是一个文件系统来操作.
    # 它的优点是存取速度非常快 (包括读和写).
    # 缺点: 易失性, 当计算机重启或关机时会丢失数据.
    #+ 会减少系统可用的RAM.
    # 10 # 那么ramdisk有什么作用呢?
    # 保存一个较大的数据集在ramdisk, 比如一张表或字典,
    #+ 这样可以加速数据查询, 因为在内存里查找比在磁盘里查找快得多.
    E_NON_ROOT_USER=70 # 必须用root来运行.
    ROOTUSER_NAME=root
    MOUNTPT=/mnt/ramdisk
    SIZE=2000 # 2K 个块 (可以合适的做修改)
    BLOCKSIZE=1024 # 每块有1K (1024 byte) 的大小
    DEVICE=/dev/ram0 # 第一个 ram 设备
    username=`id -nu`
    if [ "$username" != "$ROOTUSER_NAME" ]
    then
    echo "Must be root to run "`basename $0`"."
    exit $E_NON_ROOT_USER
    fi
    if [ ! -d "$MOUNTPT" ] # 测试挂载点是否已经存在了,
    then #+ 如果这个脚本已经运行了好几次了就不会再建这个目录了
    mkdir $MOUNTPT #+ 因为前面已经建立了.
    fi
    dd if=/dev/zero of=$DEVICE count=$SIZE bs=$BLOCKSIZE
     
    # 把RAM设备的内容用零填充.
    # 为何需要这么做?
    mke2fs $DEVICE # 在RAM设备上创建一个ext2文件系统.
    mount $DEVICE $MOUNTPT # 挂载设备.
    chmod 777 $MOUNTPT # 使普通用户也可以存取这个ramdisk.
    # 但是, 只能由root来缷载它.
    echo ""$MOUNTPT" now available for use."
    # 现在 ramdisk 即使普通用户也可以用来存取文件了.
    # 注意, ramdisk是易失的, 所以当计算机系统重启或关机时ramdisk里的内容会消失.
    # 拷贝所有你想保存文件到一个常规的磁盘目录下.
    # 重启之后, 运行这个脚本再次建立起一个 ramdisk.
    # 仅重新加载 /mnt/ramdisk 而没有其他的步骤将不会正确工作.
    # 如果加以改进, 这个脚本可以放在 /etc/rc.d/rc.local,
    #+ 以使系统启动时能自动设立一个ramdisk.
    # 这样很合适速度要求高的数据库服务器.
     

    split命令可以将一个大文件分割成很多个小文件，有时需要将文件分割成更小的片段，比如为提高可读性，生成日志等。

     

    Linux split命令用于将一个文件分割成数个，该指令将大文件分割成较小的文件，在默认情况下将按照每1000行切割成一个小文件，其基本语法是split [--help][--version][-<行数>][-b <字节>][-C <字节>][-l <行数>][要切割的文件][输出文件名]。

     

    参数：
    -a, --suffix-length=N   指定输出文件名的后缀，默认为2个
    -b, --bytes=SIZE        指定输出文件的字节数
    -C, --line-bytes=SIZE  每一输出档中，单行的最大 byte 数
    -d, --numeric-suffixes  使用数字代替字母做后缀
    -l, --lines=NUMBER    NUMBER 值为每一输出档的列数大小

     

     

    例：

    使用-a参数指定文件后缀名的个数为3

    [root@10.10.90.97 sh]# split -b 1024 -a 3 push.sh

     -b参数指定输出文件的大小为1024字节，push_指定输出文件的前缀代替默认的x 

    [root@10.10.90.97 sh]# split -b 1024 push.sh push_  
    [root@10.10.90.97 sh]# ls
    push_aa  push_ab  push_ac  push_ad  push_ae  push_af    push.sh 

    -d参数设置输出文件的后缀为数字，默认的为字符 

    [root@10.10.90.97 sh]# split -b 1024 -d push.sh 

    -l指定输出稳定的行数为5

    [root@10.10.90.97 sh]# split -l 5 push.sh 

    实例2、以每个文件20MB分割

    分割文件为多个20MB的文件，附带-b选项命令如下：

    1. $ split -b 20M logdata

    实例3、以每个文件50MB指定前缀分割

    使用–bytes选项把文件分割成多个50MB的文件，–bytes类似-b选项，在第二个参数指定前缀。

    1. $ split --bytes=50M logdata mydatafile

    实例4、基于行数分割文件

    使用-l选项指定行数来把文件分割成多个行数相同的文件。

    1. $ wc -l testfile

    实例5、以数字后缀命名分割文件

    使用-d选项可以指定后缀为数字，如00,01,02..，而不是aa,ab,ac。

    1. $ split -d testfile

    1.根据行拆分

    每3行拆分成一个文件，拆分后的文件名以name开头，以数字作为后缀后缀长度为1

    split -l 3 test -d -a 1 name

    2.按字节进行拆分

    每三个字节拆分成一个文件，默认不加单位就是字节，也可以带单位比如KB,MB等

    split -b 3 test -d -a 1 new
  • 相关阅读:
    Java 泛型初识
    Java 设计模式之装饰模式
    深入理解Java 虚拟机 之垃圾收集器与内存分配策略
    (转)MySQL字段类型
    Eclipse 远程调试
    深入理解Java 虚拟机 之自动内存管理
    JAVA对象向上转型和向下转型
    JavaSE（二）之变量与常量、运算符、类型转换
    Maven（四）之archetype插件的使用
    Hibernate（五）之一对多&多对一映射关系
  • 原文地址：https://www.cnblogs.com/klb561/p/9219359.html
Copyright © 2020-2023  润新知