爬取up主的所有视频弹幕

前时间爬了一个视频的弹幕，只爬一个视频没意义，所以我们来爬所有的。完整代码在最后。

这里我以科技美学为例啊（因为每天都看）主页链接：https://space.bilibili.com/3766866/video

 我们先来尝试获取某一个视频的弹幕，打开这个url，f12，进入开发者模式

视频链接：https://www.bilibili.com/video/BV15K411j7rB

 这里好像是chrome的一个bug，我用ie都可以看到，所以最好再配一个火狐

直接访问，弹幕就在这里面了

 然后很简单写个正则就出来了

 这里就解决了如何爬某个视频的弹幕了，接下来我们深入研究一下，如何才能得到一个up主的所有视频弹幕。

注意到这个返回弹幕的那个网址的url，我们随意改变它的oid，会给我返回不同的弹幕内容。

这里可以确信，每个视频对应一个oid，以oid来区别返回的弹幕。

所以，我们只需要获取到他所有的oid就可以得到所有的弹幕解决了。

于是，我找了这个网页中的url，看那个会返回它的oid，最终找到了https://www.bilibili.com/video/BV15K411j7rB

即视频链接的这个url中就会返回oid

 在这里它叫做cid，所以我们得到cid就可以了，编写代码获取cid

 

 至此我们可以通过1.点击一个视频，2.获取oid 3.获取弹幕

这里我用selenium，访问主页链接，来打印它的page_source（因为你有requests得不到，我也不懂为什么）

 这里我们就找到了第一页所有的视频链接，创建一个列表来保存所有链接

 然后我们再按我们第一步获取某个视频oid的方法就可以写所有的了

完整代码如下：

import requests
import parsel
import re
import parsel
from selenium import webdriver11 #代码部分
danmu = re.compile('>(.*?)</d>')
links = []
def get_links(url):
    browser = webdriver.Chrome()
    browser.get(url)
    html = browser.page_source
    soup = parsel.Selector(html)
    get_ul = soup.xpath('//ul[@class="list-list"]/*')#获取到父标签
    for i in range(0,29):
        link = str(get_ul[i].xpath('./a/@href').extract())
        link = link.replace('//','')
        link = link[2:-2]
        links.append(link)

def get_danmu(*links):
    for urls in links:
        url ='http://' + urls
        headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36 Edg/81.0.416.53'}
        html = requests.get(url,headers)
        html_text = html.text
        get_oid = re.search('cid=d*',html_text).group().replace('cid=','')
        danmu_links = 'https://api.bilibili.com/x/v1/dm/list.so?oid={}'.format(get_oid)
        html = requests.get(danmu_links)
        html.encoding = 'utf-8'
        datas = danmu.findall(html.text)[1:]
        for each in datas:
            with open('那先生的弹幕.txt','a',encoding='utf-8') as f:
                f.write(each)
                f.close()
            print(each)


if __name__ == '__main__':
    url = 'https://space.bilibili.com/3766866/video?tid=0&page=1&keyword=&order=pubdate'
    get_links(url)
    get_danmu(*links)

爬第二页第三页找下翻页的规律就行了，要爬取别的up也可以，url也有相应的规律，我就懒得做了。

最后我做了张词云图