python抓取网页之下载音乐

  实现个爬虫小例子，用浏览器登录百度帐号后，不要退出。

运行如下代码：

# -*- coding: utf-8 -*-
import re,sys
import urllib,urllib2,cookielib
class Requests:
    def __init__(self):     
        cj = cookielib.CookieJar()
        opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
        urllib2.install_opener(opener)
        self.src=None
        self.content=None
    def get(self,url):
        self.src=urllib2.urlopen(url)
        self.content=self.src.read()
        self.src.close()
        return self.content
    
def getMusic(v,num):
    var={'top':'song'}               #现在仅支持获取榜单音乐
    s=Requests()
    body=s.get("http://music.baidu.com/"+v)

    ids=re.findall("href="/"+var[v]+"/d+",body)
    if not ids:
        sys.exit(-1)
    idlists=[]
    fg=len("href="/"+var[v])+1
    for i in ids:
        idlists.append(i[fg:])      
    if num>len(idlists):
        num=len(idlists)
    for songId in idlists[0:num]:
        body=s.get("http://music.baidu.com/"+var[v]+"/"+songId)      
        if not body:
            print songId,": no response."
            return -1;
        #print body

        name=re.search("<title>S*,",body)
        if not name:
            print "no name"
            return -1;
        strname=name.group()
        name=strname.split(',')[0][7:]
        print name,
        
        fd=open(name+".mp3","wb+")
        gs=re.findall("http://S+xcodeS+",body)
        if gs:
            for i in gs:
                url=i[0:len(i)-1]
                mp3=s.get(url)
                fd.write(mp3)
                print "成功!"
        else:
            print "失败！"
        fd.close()
if __name__=='__main__':
    getMusic('top',2)          #获取2首

会在你的代码文件当前目录下创建下载的音乐。

解析html仅用的re模块，倒是可以用HTMLParser等模块，这里比较简单就没用。