注:要调用re模块时,需在py文件开头加上 import re,整个文件加一次就够了
re模块下的常用方法
一丶findall
匹配所有,每一项都是列表的一个元素
findall(正则表达式,待匹配的字符串)将满足匹配条件的结果放到列表里
import re
s = "kuci花13买了一瓶82年的矿泉水"
ret = re.findall("d+",s)
ret1 = re.findall("[0-9A-Za-z]+",s)
print(ret)
print(ret1)
二丶search
只匹配从左到右的第一个,得到的不是直接的结果,而是一个变量,通过这个变量的group方法来获取结果
s = "kuci花13买了一瓶82年的矿泉水"
ret = re.search("d+",s)
print(ret) #返回的是变量 <_sre.SRE_Match object; span=(5, 7), match='13'>
print(ret.group()) #返回结果 13
如果没有匹配到,则会返回None,使用group会报错
s = "kuci花13买了一瓶82年的矿泉水"
ret = re.search("+",s)
print(ret)
print(ret.group())
三丶match
从头开始匹配,相当于search中的表达式加上一个^,结果是一样的
ret = re.match("[A-Za-z]+","kuqi的导弹zong是到处乱飞")
print(ret) #<_sre.SRE_Match object; span=(0, 4), match='kuqi'>
print(ret.group()) #kuqi
ret2 = re.search("^[A-Za-z]+","kuqi的导弹zong是到处乱飞")
print(ret2) #<_sre.SRE_Match object; span=(0, 4), match='kuqi'>
print(ret2.group()) #kuqi
四丶字符串处理的扩展:替换丶切割
split:
# split
s = "哪吒|金吒|木吒|"
print(s.split("|")) #['哪吒', '金吒', '木吒', '']
s = "衣服82鞋子42裤子49"
ret = re.split("d+",s) #['衣服', '鞋子', '裤子', '']
print(ret)
sub/subn:
# sub
#sub (所要替换的内容,替换成的内容,所要替换的字符串,替换的次数(默认为全部))
ret = re.sub("d","A","99dasdasdml6346vasd")
ret1 = re.sub("d","A","99dasdasdml6346vasd",2)
print(ret) #AAdasdasdmlAAAAvasd
print(ret1) #AAdasdasdml6346vasd
#subn
#返回一个元组,返回结果的第二个元素是替换的次数
ret2 = re.subn("d","A","99dasdasdml6346vasd")
print(ret2) #('AAdasdasdmlAAAAvasd', 6)
五丶re模块的进阶:时间/空间
compile:
节省你使用正则表达式解决问题的时间
将正则表达式编译成字节码,在多次使用的过程中,不会多次编译
ret = re.compile("d+") #已经完成编译了
print(ret) #re.compile('\d+')
res = ret.findall("kuqi花13买了一瓶82年的矿泉水")
print(res) #['13', '82']
res = ret.search('kuqi花13买了一瓶82年的矿泉水')
print(res.group()) #13
finditer:
节省你使用正则表达式解决问题的空间/内存
ret = re.finditer("d+","diaf646afaf464afa6264yy42g424u")#返回一个迭代器
print(ret) #<callable_iterator object at 0x00000220CCDAA978>
print(next(ret).group()) #查看第一个结果 646
print(next(ret).group()) #查看第二个结果 464
print([i.group() for i in ret]) #查看剩余所有结果 ['6264', '42', '424']
六丶分组在re模块中的使用
对于正则表达式来说,有些时候我们需要进行分组,来整体约束y一组字符出现的次数
import re
s = '<a>wahaha</a>' # 标签语言 html 网页
ret = re.search('<(w+)>(w+)</(w+)>',s)
print(ret.group()) # 所有的结果
print(ret.group(1)) # 数字参数代表的是取对应分组中的内容 a
print(ret.group(2)) #wahaha
print(ret.group(3)) #a
# 为了findall也可以顺利取到分组中的内容,有一个特殊的语法,就是优先显示分组中的内容
ret = re.findall('(w+)',s)
print(ret) #['a', 'wahaha', 'a']
ret = re.findall('>(w+)<',s)
print(ret) #['wahaha']
# 取消分组优先(?:正则表达式)
ret = re.findall('d+(?:.d+)?','1.234*4') #['1.234', '4']
ret1 = re.findall('d+(.d+)?','1.234*4') #['.234', '']
print(ret)
print(ret1)
# 分组命名 (?P<这个组的名字>正则表达式)
s = '<a>wahaha</a>'
ret = re.search('>(?P<con>w+)<',s)
print(ret.group(1))
print(ret.group('con'))
# 使用前面的分组 要求使用这个名字的分组和前面同名分组中的内容匹配的必须一致
pattern = '<(?P<tab>w+)>(w+)</(?P=tab)>'
ret = re.search(pattern,s)
print(ret)
# 精准的取到整数 过滤掉小数
ret=re.findall(r"d+.d+|d+","1-2*(60+(-40.35/5)-(-4*3))")
print(ret)
#['1', '2', '60', '40.35', '5', '4', '3']
ret=re.findall(r"d+.d+|(d+)","1-2*(60+(-40.35/5)-(-4*3))")
ret.remove('') #将""删掉
print(ret)
#['1', '2', '60', '5', '4', '3']
七丶爬虫实例
import re
from urllib.request import urlopen
def getPage(url): # 获取网页的字符串
response = urlopen(url)
return response.read().decode('utf-8')
def parsePage(s):
ret = com.finditer(s) # 从s这个网页源码中 找到所有符合com正则表达式规则的内容 并且以迭代器的形式返回
for i in ret:
yield {
"id": i.group("id"),
"title": i.group("title"),
"rating_num": i.group("rating_num"),
"comment_num": i.group("comment_num"),
}
def main(num): # 0 25 50 # 这个函数执行10次,每次爬取一页的内容
url = 'https://movie.douban.com/top250?start=%s&filter=' % num
response_html = getPage(url) # response_html就是这个url对应的html代码 就是 str
ret = parsePage(response_html) # ret是一个生成器
print(ret)
f = open("move_info7", "a", encoding="utf8")
for obj in ret:
print(obj)
data = str(obj)
f.write(data + "
")
f.close()
com = re.compile(
'<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>d+).*?<span class="title">(?P<title>.*?)</span>'
'.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)评价</span>', re.S)
count = 0
for i in range(10):
main(count)
count += 25
爬虫实例