文计上机考试前的小小总结python

1.获取网页

import urllib.request as req
#用urllib获取网页
def getPage(url):
    page = req.urlopen(url)
    html = page.read().decode("gbk",errors="ignore")
    return html

import requests
from bs4 import BeautifulSoup
#用requests获取网页
def getHtml(url):
    r = requests.get(url)
    r.encoding = "utf-8"
    return r.text

2.用beautiful soup解析

def getlinks(): #获得十大链接
    url = "https://bbs.pku.edu.cn/v2/home.php"
    html = getHtml(url)
    soup = BeautifulSoup(html, 'html.parser')
    bigten = soup.find('section', attrs={'class':"topic-block big-ten"}) #找到十大标题
    links= bigten.findAll('a', attrs={'href': re.compile(r'post-read.php?bid=d{2,4}')}) #获取所有的十大链接
  #  print(links[2]['href'])
  #  exit()
    return links

获得的links是一个二维数组，即获取了所有满足条件的标签，在第二个方括号里输入各种类型，如'href'，可获得标签的相应属性

2.lambda表达式

 friend.sort(key=lambda item: item[1], reverse=True)  # 按计数（第1个元素）进行排序

item是要排序的东西，item[i]是依据什么排，reverse = true表示从大到小排序

3.读取文件获得字符串

f = open(fileName, "r",encoding="utf-8")
content = "".join(list(f.readlines()))
f.close()

注意"".join的应用，双引号内表示用什么分割

4.正则表达式

patstr = '[a-zA-Z0-9]+@[a-zA-Z0-9]+.[a-zA-Z0-9]+'
pat = re.compile(patstr)
email = pat.findall(content)

找到的email是个列表

5.如何转成列表

friend = list(relation[people].items())

注意.items()

6.用正则处理得到的html获得纯文本

def getText(html):
    html = re.compile(r"<title>.*?</title>").sub("", html) 
    html = re.compile(r"<.*?>").sub("", html) 
    html = re.compile(r"&.*?;").sub("", html) #去掉奇怪的字母部分
    html = re.compile(r"[纯文学网站首页,《红楼梦》目录,purepen.com]").sub("", html) 
    html = re.compile(r"上一回").sub("", html) 
    html = re.compile(r"下一回").sub("", html) 
    html = re.compile(r"(s*?
)+").sub("
", html)  #多个空行换成一个空行
    return html