#BeautifulSoup #python 标准库 BeautifulSoup (markup,"html.parser") #lxml HTML 解析器 BeautifulSoup (markup,"lxml") #lxml XML 解析器 BeautifulSoup (markup,"xml") #html5lib BeautifulSoup (markup,"html5lib") from bs4 import BeautifulSoup html='''<html> <head> <title>This is test</title> </head> <body> <p class='title' name='jmc'><b>the is jmc</b></p> <p class='story'>this is once test</p> <p name=''gomini></p> <a href="http://jmc.com" class='sister' id='test-1'></a> <a href="http://jmc.com" class='sister' id='test-2'></a> <div class="panel_heading"> <div class="panel_heading"> <h4>hello</h4> <div> <div class="panel-body> <ul class="list" id="once"> <li class="element">jmc</li> <li class="element">gomin</li> <li class="element">angy</li> </ul> <ul class="list2" id="two"> <li class="element">jmc1</li> <li class="element">gomini2</li> <li class="element">jangy3</li> </ul> </div> </div> ''' soup=BeautifulSoup(html,'lxml') print (soup.prettify())#格式化代码，自动补全 处理。 print (soup.title.string)#打印出title #标签选择器 #选择元素 print (soup.title) print (soup.head) print (soup.p) #获取名称 print (soup.title.name) #获取title 的名称 print (soup.p.attrs['name']) #打印出p标签的name 值 print (soup.p['name'])#打印出p标签的name 值 #获取内容 print (soup.p.string) print (soup.p.text) #嵌套选择 print (soup.head.title.string)#head 中的title 文本 #子节点和子孙节点 print (soup.p.contents)#获取p标签的所有子节点 print (soup.p.children) for i,child in enumerate(soup.p.children): print (i,child) #i,child 接收索引和内容，迭代器 循环打出 print (soup.p.descendants) for i,child in enumerate(soup.p.descendants): print (i,child) #获取子孙节点,i,child 接收索引和内容 #父节点和祖先节点 print (soup.p.parent)#获取父节点 print (list(enumerate(soup.a.parents)))#获取祖先节点所有p的节点 #兄弟节点 print (list(enumerate(soup.p.next_siblings))) #p标签后面的兄弟节点，同一个父节点中的 print (list(enumerate(soup.p.previous_siblings)))#p标签前面的兄弟节点 #标准选择器 #find_all(name,attrs,recursive,text,**kwatgs) print (soup.find_all('ul')) #find_all 查找所有,输出第一个ul标签 print (type(soup.find_all('ul')[0])) for ul in soup.find_all('ul'): print (ul.find_all('li'))#从ul中打印li标签 #attrs print (soup.find_all(attrs={"id":"two"})) print (soup.find_all(id="two")) print (soup.find_all(class_="element"))#class 要加_ #text print (soup.find_all(text='jmc')) #find 和find_all用法一样。 #find 返回单个元素,find_all返回所有元素 print (soup.find(text='jmc')) find_parents() #返回所有的祖先节点 find_parent() #返回所有的父节点 find_next_siblings() #返回后面所有的兄弟节点 find_next_sibling()#返回后面第一个兄弟节点 find_previous_siblings()#返回前面所有的兄弟节点 find_previous_sibling()#返回前面第一个兄弟节点 find_all_next()#返回节点后所有符合的节点 find_next()#返回第一个符合的节点 #CSS选择器 print (soup.select('ul li')) for ul in soup.select('ul'): print(ul.select('li')) for ul in soup.select('ul'): print (ul['id']) print (soup.select('ul')) print (soup.select(ul['id'])) #获取内容 for ul in soup.select('li'): print (ul.get_text())