pycurl的使用方法get and post

转自：http://www.xuebuyuan.com/743876.html

使用pycurl进行web提交

2012年10月10日 ⁄ 综合 ⁄ 共 1850字 ⁄ 字号 小 中 大 ⁄ 评论关闭

之前使用python提交数据到服务器时都是采用自带的urllib库。前一段时间登录某Cas系统时，总是莫名的失败。失败的原因好像是cookie的问题，各个页面需要共享cookie。尝试了多个给urllib设置cookie的方法，还是没能成功。

后来，试了pycurl，竟然成功了，那就使用pycurl吧。（很抱歉，我没能追查出为什么采用urllib2没有成功，也没有彻底研究出为何pycurl能够成功）

pycurl官方下载链接我没有打开，本人通过该链接下载。另外，本人使用的是python2.7。

首先,对pycurl进行简单的封装

def initCurl():
'''初始化一个pycurl对象，
尽管urllib2也支持 cookie 但是在登录cas系统时总是失败，并且没有搞清楚失败的原因。
这里采用pycurl主要是因为pycurl设置了cookie后，可以正常登录Cas系统
'''
        c = pycurl.Curl()
        c.setopt(pycurl.COOKIEFILE, "cookie_file_name")#把cookie保存在该文件中
        c.setopt(pycurl.COOKIEJAR, "cookie_file_name")
        c.setopt(pycurl.FOLLOWLOCATION, 1) #允许跟踪来源
        c.setopt(pycurl.MAXREDIRS, 5)
        #设置代理 如果有需要请去掉注释，并设置合适的参数
        #c.setopt(pycurl.PROXY, ‘http://11.11.11.11:8080′)
        #c.setopt(pycurl.PROXYUSERPWD, ‘aaa:aaa’)
        return c

然后，封装出HTTP中的两个常用方法，GET和POST

def GetDate(curl, url):
'''获得url指定的资源，这里采用了HTTP的GET方法
'''
        head = ['Accept:*/*',
                'User-Agent:Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.97 Safari/537.11']
        buf = StringIO.StringIO()
        curl.setopt(pycurl.WRITEFUNCTION, buf.write)
        curl.setopt(pycurl.URL, url)
        curl.setopt(pycurl.HTTPHEADER,  head)
        curl.perform()
        the_page =buf.getvalue()
        buf.close()
        return the_page
def PostData(curl, url, data):
'''提交数据到url，这里使用了HTTP的POST方法

备注，这里提交的数据为json数据，
如果需要修改数据类型，请修改head中的数据类型声明
'''
        head = ['Accept:*/*',
                'Content-Type:application/xml',
                'render:json',
                'clientType:json',
                'Accept-Charset:GBK,utf-8;q=0.7,*;q=0.3',
                'Accept-Encoding:gzip,deflate,sdch',
                'Accept-Language:zh-CN,zh;q=0.8',
                'User-Agent:Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.97 Safari/537.11']
        buf = StringIO.StringIO()
        curl.setopt(pycurl.WRITEFUNCTION, buf.write)
        curl.setopt(pycurl.POSTFIELDS,  data)
        curl.setopt(pycurl.URL, url)
        curl.setopt(pycurl.HTTPHEADER,  head)
        curl.perform()
        the_page = buf.getvalue()
        #print the_page
        buf.close()
        return the_page

当然，还需要一些引用

import pycurl
import StringIO
import urllib

好了，给出个例子

    c = initCurl()
    html = GetDate(c, 'http://www.baidu.com')
    print html