Linux之curl命令详解

Linux之curl命令详解
url命令是一个功能强大的网络工具，它能够通过http、ftp等方式下载文件，也能够上传文件。其实curl远不止前面所说的那些功能，大家可以通过man curl阅读手册页获取更多的信息。类似的工具还有wget。

curl命令使用了libcurl库来实现，libcurl库常用在C程序中用来处理HTTP请求，curlpp是libcurl的一个C++封装，这几个东西可以用在抓取网页、网络监控等方面的开发，而curl命令可以帮助来解决开发过程中遇到的问题。

常用参数

curl命令参数很多，这里只列出我曾经用过、特别是在shell脚本中用到过的那些。

-v/--verbose 小写的v参数，用于打印更多信息，包括发送的请求信息，这在调试脚本是特别有用。

-m/--max-time <seconds> 指定处理的最大时长

-H/--header <header> 指定请求头参数

-s/--slient 减少输出的信息，比如进度

--connect-timeout <seconds> 指定尝试连接的最大时长

-x/--proxy <proxyhost[:port]> 指定代理服务器地址和端口，端口默认为1080

-T/--upload-file <file> 指定上传文件路径

-o/--output <file> 指定输出文件名称

-d/--data/--data-ascii <data> 指定POST的内容

--retry <num> 指定重试次数

-e/--referer <URL> 指定引用地址

-I/--head 仅返回头部信息，使用HEAD请求

使用示例

示例一获取指定网页

[root@jfht ~]# curl http://www.sunrisecorp.net/ <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <meta http-equiv="Content-Type" content="text/html; charset=gbk" /> <meta name="title" content="欢迎您 - 上海腾一" /> <meta name="keyword" content="上海腾一，融合通信，电子商务，语音通信，数据通信，基站工程外包托管，物联网，网站建设，电子商务解决方案，移动互联网，短信，彩信，呼叫中心，多方会议，PBX，IVR，电子商务策划方案，设备代维，网络优化，通信工程，电信增值，3G" /> <meta name="description" content="上海腾一信息技术有限公司专注于电信增值、通信工程、电子商务等领域，拥有近十年的经验。" /> <title> 欢迎您 - 上海腾一 </title>

插播一下广告：上海腾一信息技术有限公司是一家致力于通信工程、电子商务和电信增值业务的公司，请访问官方网址： http://www.sunrisecorp.net/ 。

此处省略掉网页内容。

</body> </html>[root@jfht ~]#

示例二查看响应头信息

[root@jfht ~]# curl -I http://www.sunrisecorp.net/ HTTP/1.1 200 OK Server: Apache-Coyote/1.1 Accept-Ranges: bytes ETag: W/"17801-1285643951000" Last-Modified: Tue, 28 Sep 2010 03:19:11 GMT Content-Type: text/html Content-Length: 17801 Date: Tue, 12 Oct 2010 12:49:20 GMT
[root@jfht ~]#

示例三检查网页是否可正常访问

以下是一个tomcat监控脚本的部分内容。
Bash代码
1. # usage: check_once <port> <path>
2. # 使用curl检查网页是否可以正常访问，如果不能访问就重启tomcat。
3. check_once()
4. {
5. echo
6. echo "$(date) Tomcat check once"
7. # 2008.08.21 -I/--head -s/--silent
8. #if curl -s -I --connect-timeout 5 --max-time 10 http://localhost:$1/; then
9. # 2010.02.16 add 200 OK test
10. if curl -s -I --connect-timeout 5 --max-time 10 http://localhost:$1/$2 | grep -q '200 OK';
13. then
14. echo "$(date) Tomcat maybe OK"
15. else
16. echo "$(date) Tomcat maybe FAULT"
17. restart
18. fi
19. }
21. # usage: check_loop <port> <path>
22. # 每隔一分钟检查一次网页是否正常
23. check_loop()
24. {
25. while true;
26. do
27. sleep 60
28. check_once $1 $2 >> $CATALINA_HOME/logs/check.$(date +%Y-%m-%d).log
29. done
30. }
32. # usage: monitor <path>
33. # 对path指定的本机网页进行监控
34. # 2008.06.26
35. # 2010.09.20 add path parameter
36. monitor()
37. {
38. PORT=80
39. if grep 'Connector port="80"' $CATALINA_HOME/conf/server.xml; then
40. PORT=80
41. elif grep 'Connector port="8080"' $CATALINA_HOME/conf/server.xml; then
42. PORT=8080
43. else
44. echo "Cannot detect server port for Tomcat"
45. return 12
46. fi
47. echo "Tomcat server port is $PORT"
49. if status; then
50. check_loop $PORT "$1" &
51. #check_loop $PORT "$1"
52. fi
53. }
Bash代码
1. # usage: check_once <port> <path>
2. # 使用curl检查网页是否可以正常访问，如果不能访问就重启tomcat。
3. check_once()
4. {
5. echo
6. echo "$(date) Tomcat check once"
7. # 2008.08.21 -I/--head -s/--silent
8. #if curl -s -I --connect-timeout 5 --max-time 10 http://localhost:$1/; then
9. # 2010.02.16 add 200 OK test
10. if curl -s -I --connect-timeout 5 --max-time 10 http://localhost:$1/$2 | grep -q '200 OK';
13. then
14. echo "$(date) Tomcat maybe OK"
15. else
16. echo "$(date) Tomcat maybe FAULT"
17. restart
18. fi
19. }
21. # usage: check_loop <port> <path>
22. # 每隔一分钟检查一次网页是否正常
23. check_loop()
24. {
25. while true;
26. do
27. sleep 60
28. check_once $1 $2 >> $CATALINA_HOME/logs/check.$(date +%Y-%m-%d).log
29. done
30. }
32. # usage: monitor <path>
33. # 对path指定的本机网页进行监控
34. # 2008.06.26
35. # 2010.09.20 add path parameter
36. monitor()
37. {
38. PORT=80
39. if grep 'Connector port="80"' $CATALINA_HOME/conf/server.xml; then
40. PORT=80
41. elif grep 'Connector port="8080"' $CATALINA_HOME/conf/server.xml; then
42. PORT=8080
43. else
44. echo "Cannot detect server port for Tomcat"
45. return 12
46. fi
47. echo "Tomcat server port is $PORT"
49. if status; then
50. check_loop $PORT "$1" &
51. #check_loop $PORT "$1"
52. fi
53. }
这个脚本的执行方式是 monitor <path>，比如monitor main/index.html。下面是执行时输出的日志信息片段。

2010年 10月 09日星期六 15:20:38 CST Tomcat check once 2010年 10月 09日星期六 15:20:46 CST Tomcat maybe OK
2010年 10月 09日星期六 15:21:46 CST Tomcat check once 2010年 10月 09日星期六 15:21:57 CST Tomcat maybe FAULT Tomcat is now running, not stopped: 0 Tomcat is now running, not stopped: 1 Tomcat is now running, not stopped: 2 Tomcat is now running, not stopped: 3 Tomcat is now running, not stopped: 4 Tomcat is now running, not stopped: 5 Tomcat is now running, not stopped: 6 Tomcat is now running, not stopped: 7 Tomcat is now running, not stopped: 8 Tomcat is now running, not stopped: 9 Tomcat killed use SIGKILL Tomcat stopped Starting tomcat
2010年 10月 09日星期六 15:23:09 CST Tomcat check once 2010年 10月 09日星期六 15:23:09 CST Tomcat maybe OK
2010年 10月 09日星期六 15:24:09 CST Tomcat check once 2010年 10月 09日星期六 15:24:09 CST Tomcat maybe OK

示例四另一个检查网页是否正常的脚本
Bash代码
1. # 要检查的网页地址
2. URL="http://www.sunrisecorp.net/"
4. # usage:
5. curlit()
6. {
7. curl --connect-timeout 15 --max-time 30 --head --silent "$URL" | grep 'HTTP/1.1 200 OK'
8. }
10. # 只有MIN_ALARM次访问失败时才告警
11. MIN_ALARM=10
13. #
14. doit()
15. {
16. echo "===== $(now) ====="
17. if ! curlit; then
18. echo "$(now) bbdx nss access failed"
19. N=1
20. if [ -e curlit_error ]; then
21. N="$(cat curlit_error)"
22. N=$[N+1]
23. fi
24. echo "$(now) N=$N"
25. echo $N >curlit_error
26. if [ "$N" == "$MIN_ALARM" ]; then
27. echo "$(now) do notify"
28. touch curlit_error
29. notify_curlit_error
30. fi
31. else
32. if [ -e curlit_error ]; then
33. echo "$(now) recovered"
34. N=$(cat curlit_error)
35. echo "$(now) N=$N"
36. rm -f curlit_error
37. if [ "$N" -ge "$MIN_ALARM" ]; then
38. notify_curlit_recovered
39. fi
40. fi
41. fi
42. }
44. doit >>log/curlit.log 2>&1
Bash代码
1. # 要检查的网页地址
2. URL="http://www.sunrisecorp.net/"
4. # usage:
5. curlit()
6. {
7. curl --connect-timeout 15 --max-time 30 --head --silent "$URL" | grep 'HTTP/1.1 200 OK'
8. }
10. # 只有MIN_ALARM次访问失败时才告警
11. MIN_ALARM=10
13. #
14. doit()
15. {
16. echo "===== $(now) ====="
17. if ! curlit; then
18. echo "$(now) bbdx nss access failed"
19. N=1
20. if [ -e curlit_error ]; then
21. N="$(cat curlit_error)"
22. N=$[N+1]
23. fi
24. echo "$(now) N=$N"
25. echo $N >curlit_error
26. if [ "$N" == "$MIN_ALARM" ]; then
27. echo "$(now) do notify"
28. touch curlit_error
29. notify_curlit_error
30. fi
31. else
32. if [ -e curlit_error ]; then
33. echo "$(now) recovered"
34. N=$(cat curlit_error)
35. echo "$(now) N=$N"
36. rm -f curlit_error
37. if [ "$N" -ge "$MIN_ALARM" ]; then
38. notify_curlit_recovered
39. fi
40. fi
41. fi
42. }
44. doit >>log/curlit.log 2>&1
示例五使用HttpPost上传数据

一个用于http post的脚本。
Bash代码
1. #!/bin/sh
3. MS=1350514xxxx
5. TM=$(date +"%Y%m%d%H%M%S")
6. DT=$(date +"%Y%m%d")
8. cat <<EOF >reqtmp.xml
9. <?xml version="1.0" encoding="GBK" ?>
10. <OwnPlatForm>
11. <OrigDomain>QZT</OrigDomain>
12. <HomeDomain>BOSS</HomeDomain>
13. <ActivityCode>T5100001</ActivityCode>
14. <ActionCode>0</ActionCode>
15. <TransIDO>$TM</TransIDO>
16. <TransIDH></TransIDH>
17. <ProcessTime>$TM</ProcessTime>
18. <CutOffDay>$DT</CutOffDay>
19. <TestFlag>0</TestFlag>
20. <Content>
21. <![CDATA[
22. <BizProcReq>
23. <IDType>01</IDType>
24. <IDValue>$MS</IDValue>
25. <UserCity>14</UserCity>
26. <UserCounty>1419</UserCounty>
27. <OprCode>01</OprCode>
28. <BizType>51</BizType>
29. <OprTime>$TM</OprTime>
30. <OprSrc>27</OprSrc>
31. <ProductInfo>
32. <PrdCode>510001</PrdCode>
33. </ProductInfo>
34. </BizProcReq>
35. ]]>
36. </Content>
37. </OwnPlatForm>
38. EOF
40. cat reqtmp.xml
43. URL="http://10.32.140.230:7092/fcgi-bin/UIG_NEWINT"
45. curl --verbose --upload-file reqtmp.xml --header "Content-Type: text/xml" "$URL" --output rsptmp.xml
47. cat rsptmp.xml
Bash代码
1. #!/bin/sh
3. MS=1350514xxxx
5. TM=$(date +"%Y%m%d%H%M%S")
6. DT=$(date +"%Y%m%d")
8. cat <<EOF >reqtmp.xml
9. <?xml version="1.0" encoding="GBK" ?>
10. <OwnPlatForm>
11. <OrigDomain>QZT</OrigDomain>
12. <HomeDomain>BOSS</HomeDomain>
13. <ActivityCode>T5100001</ActivityCode>
14. <ActionCode>0</ActionCode>
15. <TransIDO>$TM</TransIDO>
16. <TransIDH></TransIDH>
17. <ProcessTime>$TM</ProcessTime>
18. <CutOffDay>$DT</CutOffDay>
19. <TestFlag>0</TestFlag>
20. <Content>
21. <![CDATA[
22. <BizProcReq>
23. <IDType>01</IDType>
24. <IDValue>$MS</IDValue>
25. <UserCity>14</UserCity>
26. <UserCounty>1419</UserCounty>
27. <OprCode>01</OprCode>
28. <BizType>51</BizType>
29. <OprTime>$TM</OprTime>
30. <OprSrc>27</OprSrc>
31. <ProductInfo>
32. <PrdCode>510001</PrdCode>
33. </ProductInfo>
34. </BizProcReq>
35. ]]>
36. </Content>
37. </OwnPlatForm>
38. EOF
40. cat reqtmp.xml
43. URL="http://10.32.140.230:7092/fcgi-bin/UIG_NEWINT"
45. curl --verbose --upload-file reqtmp.xml --header "Content-Type: text/xml" "$URL" --output rsptmp.xml
47. cat rsptmp.xml
示例六使用proxy的脚本
Bash代码
1. # usage: do_sync_once <mobile> <codes> <area_id> <opening>
2. do_sync_once()
3. {
4. mobile=$1
5. codes=$2
6. area_id=$3
7. opening=$4
11. curl --silent --max-time 60 --proxy http://10.32.187.170:8080 "http://host/boss/sync.jsp?seq=1251747862492&mobile=$mobile&serviceCodes=$codes&areaId=$area_id&opening=$opening"
13. }
Bash代码
1. # usage: do_sync_once <mobile> <codes> <area_id> <opening>
2. do_sync_once()
3. {
4. mobile=$1
5. codes=$2
6. area_id=$3
7. opening=$4
11. curl --silent --max-time 60 --proxy http://10.32.187.170:8080 "http://host/boss/sync.jsp?seq=1251747862492&mobile=$mobile&serviceCodes=$codes&areaId=$area_id&opening=$opening"
13. }
示例七使用Google AJAX Search API进行搜索
Bash代码
1. # usage: google_search <STR>
2. # Google搜索
3. google_search()
4. {
5. REF="http://codingstandards.iteye.com/"
6. KEY="ABQIAAAAHg_ENG5Yq9pOZd19v64gyxTMcdcN4KfyGCBxustvF1FXdNe4WBQOej_ZiBgIK6-a4M3hTxcVfSkt2g"
7. STR="$1"
8. # 采用网页搜索
9. curl --retry 5 -e "$REF" "http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=$STR&hl=zh-CN&key=$KEY" 2>/dev/null
10. # 采用博客搜索
11. #curl -e $REF "http://ajax.googleapis.com/ajax/services/search/blogs?v=1.0&q=$STR&hl=zh-CN" 2>/dev/null
12. #curl --retry 5 -e $REF "http://ajax.googleapis.com/ajax/services/search/blogs?v=1.0&q=$STR&hl=zh-CN" 2>/dev/null
13. #curl --retry 5 -e "$REF" "http://ajax.googleapis.com/ajax/services/search/blogs?v=1.0&q=$STR&hl=zh-CN&key=$KEY" 2>/dev/null
14. }
Bash代码
1. # usage: google_search <STR>
2. # Google搜索
3. google_search()
4. {
5. REF="http://codingstandards.iteye.com/"
6. KEY="ABQIAAAAHg_ENG5Yq9pOZd19v64gyxTMcdcN4KfyGCBxustvF1FXdNe4WBQOej_ZiBgIK6-a4M3hTxcVfSkt2g"
7. STR="$1"
8. # 采用网页搜索
9. curl --retry 5 -e "$REF" "http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=$STR&hl=zh-CN&key=$KEY" 2>/dev/null
10. # 采用博客搜索
11. #curl -e $REF "http://ajax.googleapis.com/ajax/services/search/blogs?v=1.0&q=$STR&hl=zh-CN" 2>/dev/null
12. #curl --retry 5 -e $REF "http://ajax.googleapis.com/ajax/services/search/blogs?v=1.0&q=$STR&hl=zh-CN" 2>/dev/null
13. #curl --retry 5 -e "$REF" "http://ajax.googleapis.com/ajax/services/search/blogs?v=1.0&q=$STR&hl=zh-CN&key=$KEY" 2>/dev/null
14. }
相关阅读:
以太坊客户端geth的基本操作命令
 以太坊虚拟机介绍5-比较操作指令
 以太坊虚拟机介绍4-按位运算指令
 浏览器内核
 javascript 几个易错点记录
 jq常用方法
 jq事件操作汇总
 js事件总汇
 margin 负边距的知识点
 子div撑不开父div的几种解决办法：
原文地址：https://www.cnblogs.com/dim2046/p/5913701.html

Linux之curl命令详解

常用参数

使用示例

示例一 获取指定网页

示例二 查看响应头信息

示例三 检查网页是否可正常访问

示例四 另一个检查网页是否正常的脚本

示例五 使用HttpPost上传数据

示例六 使用proxy的脚本

示例七 使用Google AJAX Search API进行搜索

示例一获取指定网页

示例二查看响应头信息

示例三检查网页是否可正常访问

示例四另一个检查网页是否正常的脚本

示例五使用HttpPost上传数据

示例六使用proxy的脚本

示例七使用Google AJAX Search API进行搜索