爬取ICLR历年论文并制作词云

最近，实验室的老师要做关于对抗样本的PPT，其中需要统计ICLR会议关于对抗样本的文章，因此就学了一点点爬虫~记录一下过程。

1.爬取网址：https://openreview.net/group?id=ICLR.cc/2019/Conference（如果需要其它年份的，直接修改2019为其它年份即可），按F12,如下图：

2.点开preview看一下（这个里面包含着1000篇论文），每一篇都包含着论文的作者，标题，以及abstract等等）

3.再看看header，它可以告诉我们爬取网页的头部信息：

基本上从头部信息可以获取到，invitatio表示论文的投稿信息（现在这个就是表示盲审阶段的论文），offset表示偏移，论文数量一共1419篇，需要爬取offset为0和offset为1000得两个网页。

 4.编写代码

4.1. get_data.py

import json
import requests
from requests.exceptions import RequestException
from urllib.parse import urlencode

def get_page_index(invitation,offset):
    data={
        'invitation': invitation,#复制过来的时候要把空格去掉
        'details': 'replyCount',
        'limit': '1000',
        'offset': offset,
    }
    url='https://openreview.net/notes?'+urlencode(data)

    try:
        response=requests.get(url)
        if response.status_code==200:
            return response.text
        return None
    except RequestException:
        print("请求索引页出错")
def parse_page_index(html):
    data = json.loads(html)
    if data and 'notes' in data:
        for item in data['notes']:
            yield item
def save_data(data,path):
    # python列表转json数组并写入文件
    with open(path,'w') as f:
        json.dump(data,f)
    print("存储成功")
def main(name_path,key_path,invitation):

    #收集论文名称
    names=[]
    key_words=[]
    for offset in [0,1000]:
        try:
            html=get_page_index(invitation,offset)
            for index, item in enumerate(parse_page_index(html)):
                try:
                    print("offset:{0} index:{1}".format(offset, index))
                    names.append(item['content']['title'])
                    key_words.extend(item['content']['keywords'])
                except Exception as e:
                    print("error!")
        except Exception as e:
            break


    save_data(names,name_path)
    save_data(key_words,key_path)
# 'ICLR.cc/2018/Conference/-/Blind_Submission'
if __name__ == '__main__':
    main(name_path='./data/2016title.json',key_path='./data/2016key_words.json',
         invitation='ICLR.cc/2016/conference/-/submission')

 4.2  make_cloud.py

import json
from wordcloud import WordCloud
import matplotlib.pyplot as plt
def plot_word_cloud():
    with open('./data/2018key_words.json','r') as f:
        data=json.load(f)
    mytext=""
    for item in data:
        mytext+=(" "+item)
    print("yes")
    wordcloud = WordCloud().generate(mytext)
    plt.imshow(wordcloud, interpolation='bilinear')
    plt.axis("off")
    # plt.savefig('3.png', dpi=200)  # 指定分辨率保存
    plt.show()

def count_adversary():
    with open('./data/2017title.json','r') as f:
        data=json.load(f)
    print(len(set(data)))
    cnt=0
    for item in data:
        if "adversarial" in item or "example" in item or "defense" in item or 'attack' in item
                or "Adversarial" in item or "Example" in item or "Defense" in item or 'Attack' in item
                or "Vulnerability" in item or "Robust" in item:
            if "Generative Adversarial Networks" in item:
                # print("**********{0}".format(item))
                pass
            else:
                print(item)
                cnt+=1
    print(cnt)

count_adversary()

5.生成词云效果如下：