• 使用wget做站点镜像及wget的高级用法


    本文为大家介绍 使用wget做站点镜像及wget的高级用法,供大家学习参考。

    # wget -r -p -np -k http://xxx.edu.cn

    -r 表示递归下载,会下载所有的链接,不过要注意的是,不要单独使用这个参数,因为如果你要下载的网站也有别的网站的链接,wget也会把别的网站的东西下载下来,所以要加上-np这个参数,表示不下载别的站点的链接.
    -np 表示不下载别的站点的链接.
    -k 表示将下载的网页里的链接修改为本地链接.
    -p 获得所有显示网页所需的元素,比如图片什么的.

    -E  或 --html-extension   将保存的URL的文件后缀名设定为“.html”

    +++++++++++++++++++++++++++++++++++++++
    # wget -c -t 0 -O rhel6_x86_64.iso http://zs.kan115.com:8080/rhel6_x86_64.iso

    -c 断点续传
    -t 0 反复尝试的次数,0为不限次数
    -O rhel6_x86_64.iso 把下载的文件命名为rhel6_x86_64.iso
    http://zs.kan115.com:8080/rhel6_x86_64.iso 要下载的文件的网址

    附:wget高级用法

    wget的一些高级用法,比如另存为,后台下载,断点下载。批量下载。
    增加下载尝试次数和测试下载链接是否生效。
    记录下载日志,下载和排除指定类型文 件。

    1、下载单个文件
    wget url+filename

    下载过程中同时可以看到四项信息
    已经下载的比例
    已经下载的大小
    当前下载的速度
    剩余的时间

    2、使用一个大写O做参数表示另存为
    wget -O save_name url

    这种方法适用于对应链接中没有显式文件名的情况。

    例如: wget -O xx.zip http://www.vim.org/scripts/download_script.php?src_id=7701

    再用不带-O参数的下载一次。

    ls -al
    总计 132
    drwxr-xr-x 2 root root  4096 07-12 10:43 .
    drwxr-xr-x 4 root root  4096 07-11 16:26 ..
    -rw-r--r-- 1 root root 50243 07-12 10:43 download_script.php?src_id=7701
    -rw-r--r-- 1 root root 50243 07-12 10:43 xx.zip

    我们发现,下载的大小都是一样。但是不带-O参数的,文件名还要转换一次。不如用-O参数方便。

    mv "download_script.php?src_id=7701" yy.zip

    3、指定下载速率
    方法是使用wget --limit-rate

    wget程序默认是使用所有的带宽,如果
    是在生产服务器上下载很大的文件就不可接受了。
    为了避免这种情况使用--limit-rate参数
    wget --limit-rate=200k http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2

    4、断点下载
    使用wget -c完成未完成的下载

    下载到一半需要停下来干别的事情,用^c就可以停顿住。
    回来后,继续下载可以加一个-c参数。
    注意:如果不加入-c,那么下载的文件会多出一个.1的后缀。

    5、在后台下载
    方法:加一个-b的参数

    wget -b url/filename
    为后台下载。下载经过写入到wget-log文件中。

    用tail -f wget-log查看下载日志

    6、模拟在浏览器下下载
    有的网站不允许客户在非浏览器环境下下载。使用--user-agent来设置
    wget --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" URL-TO-DOWNLOAD

    7、测试下载链接
    方法:使用--spider
    试图做计划下载时候,需要先检查一下下载链接是否有效。
    wget --spider DOWNLOAD-URL
    如果返回OK,则表示下载链接是正确的!

    例如:
    wget --spider "http://ip138.com/ips.asp?ip=58.251.193.137&action=2"
    Spider mode enabled. Check if remote file exists.
    --2010-07-12 11:36:32--  http://ip138.com/ips.asp?ip=58.251.193.137&action=2
    正在解析主机 ip138.com... 221.5.47.136
    Connecting to ip138.com|221.5.47.136|:80... 已连接。
    已发出 HTTP 请求,正在等待回应... 200 OK
    长度:7817 (7.6K) [text/html]
    Remote file exists and could contain further links,
    but recursion is disabled -- not retrieving.

    8、增加尝试次数
    方法:--tries=1000
    如果网速有问题,下载大文件的时候可能会发生错误,
    默认wget尝试20次链接。

    如果尝试75次,可以
    wget --tires=75 DOWNLOAD-URL

    9、下载多个文件使用wget -i
    将多个下载链接写入到一个download-file-list.txt文件中,而后用:
    wget -i download-file-list.txt

    10、下载整站
    方法:用--mirror参数

    当你要下载一个完整站点并实现本地浏览的时候,
    wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL

    参数讲解:
    --mirror:设置这个参数用来建立本地镜像
    -p:下载所有html文件适合显示的元素
    --convert-links:下载完成后,将文档链接都转换成本地的
    -P ./LOCAL-DIR:保存所有的文件和目录到指定文件夹下

    11、下载时候禁止下载指定类型的文件
    例如下载站点时候,不打算下载gif动画图片。
    wget --reject=gif WEBSITE-TO-BE-DOWNLOADED

    12、记录下载日志
    方法:使用小写字母o
    wget -o xx.html.log -O xx.html "http://ip138.com/ips.asp?ip=58.251.193.137&action=2"

    检查一下日志:
    [root@localhost opt]# cat xx.html.log
    --2010-07-12 11:57:22--  http://ip138.com/ips.asp?ip=58.251.193.137&action=2
    正在解析主机 ip138.com... 221.5.47.136
    Connecting to ip138.com|221.5.47.136|:80... 已连接。
    已发出 HTTP 请求,正在等待回应... 200 OK
    长度:7817 (7.6K) [text/html]
    Saving to: `xx.html'
         0K .......        100% 65.5K=0.1s
    2010-07-12 11:57:22 (65.5 KB/s) - `xx.html' saved [7817/7817]

    13、是第9条的增强版。可以限制下载容量
    wget -Q5m -i FILE-WHICH-HAS-URLS

    当下载的文件达到5兆的时候,停止下载。
    注意:如果不是对一个文件下载链接清单,对单个文件,
    这个限制不会生效的。

    14、和第11条正好相反,
    这条技巧是讲述如何仅仅下载指定类型的文件

    从一个网站中下载所有的pdf文件:
    wget -r -A.pdf http://url-to-webpage-with-pdfs/

    15、使用wget完成ftp下 载
    匿名ftp下载类似于http下载:
    wget ftp-url即可。

    如果是需要输入用户名和密码,则是:
    wget --ftp-user=USERNAME --ftp-password=PASSWORD DOWNLOAD-URL

  • 相关阅读:
    1.在虚拟机中安装Linux中的CentOS7系统
    Mysql的跨服务器 关联查询--Federated引擎
    mysql 时间格式转换
    mysql 查询当天、本周,本月,上一个月的数据
    mybatis执行批量更新数据
    JSTL 递增序号
    mybaits 新增数据返回id
    第一部分软件测试综述——软件测试背景【软件测试】(美)Ron Patton中文电子版
    测试真的是一个无聊又没前途的岗位吗?是吗?不是吗?
    碎片化时间,偷偷变牛逼!2020全栈软件测试工程师修炼手册
  • 原文地址:https://www.cnblogs.com/gantoday/p/6073570.html
Copyright © 2020-2023  润新知