互动百科词条快速抓取[适用于文本处理与挖掘]

• 1.前言   

　　因近期小组的一个项目有文本挖掘的需求，需要用到Word2Vec的文本特征抽取，为了进行技术预演需要我们提前对模型进行训练。而只要涉及数据挖掘相关的模型，数据集是不必可少的。中文文本挖掘领域，百科词条涵盖面广，而且内容比较丰富，于是便选择百科的词条作为数据集 （http://baike.com）。

• 2.词条抓取方案与代码实现

 

　　2.1 抓取方案

　　step1:

　　　　收集百科词条种子(后台的id列表)

　　step2:

　　　　获取详情页并解析html中的词条正文

　　step3:

　　　　数据保存（以文本txt保存或者存库）

　　a)如何获取加载列表的js请求地址和请求参数格式？

打开Chrome浏览器之后，键盘上按“F12”进入调试界面

　　b)如从词条详情页获取正文的css样式 ？

　　

　　2.2 代码实现 

　　step1:收集词条id列表并保存到redis

def fetch_seeds():
    print "-- fetch seeds --"
    cnt = 0
    for def_index in range(4, 10):
        ret = do_run(index=def_index)
        cnt += ret
    print("cnt =  %d" % cnt)

def do_run(index, page_num=100):
    artical_list = []
    for pn in range(1, page_num + 1):
        try:
            url = 'http://api.hudong.com/flushjiemi.do?flag=2&topic=%d&page=%d&type=2' % (index, pn)
            retText = fetch(url)
            print("ret = %s" % retText)
            ret_json = json.loads(retText, encoding='utf-8')
            result = ret_json["result"]
            if len(result) > 0:
                for ob in result:
                    # artical_list.append(ob["article_topic_name"])
                    # artical_list.append("%s%s%s" % (ob["article_topic_name"], "-", ob["article_id"]))
                    artical_list.append(ob["article_id"])
                save2redis(index, artical_list)
            # sleep
            if pn % 5 == 0:
                print 'pn=%d, sleeping...' % pn
                time.sleep(1)
        except:
            print "http get or parse error!"

    return 1

def save2redis(index, article_list):
    r = redis.Redis(host=redis_db_host, port=redis_db_port, db=redis_db_index)
    for article in article_list:
        r.sadd("%s-%d" % ("news.set", index), article)

　　step2:抓取词条详情并保存到redis

def fetch_detail():
    print "-- fetch detail --"
    r = redis.Redis(host=redis_db_host, port=redis_db_port, db=redis_db_index)
    cnt = 0
    for news_index in range(4, 10):
        seeds = r.smembers("%s-%s" % ("news.set", news_index))
        if len(seeds) > 0:
            for seed in seeds:
                try:
                    ret = crawl(seed)
                    cnt += 1
                    if cnt % 10 == 0:
                        time.sleep(2)
                        print 'cnt=%d, sleeping...' % cnt
                    # save to redis
                    save_detail(seed, result=ret)
                    # break  # unit test
                except:
                    print "fetch detail error!!!"
    pass

def crawl(page_no):
    url = 'http://jiemi.baike.com/pa/detail?id=%s&type=1' % page_no
    print "url=", url
    content = fetch(url)
    soup = BeautifulSoup(content, "html.parser")
    return fetch_with_class(soup, class_type="jiemi-content")
    
def save_detail(seed, result=""):
    r = redis.Redis(host=redis_db_host, port=redis_db_port, db=redis_db_index_2)
    r.set("id_%s" % seed, result)
    return 1

• 附

　　1）环境说明 python2.7, redis4.x　　

　　2）github项目完整源码 https://github.com/SeaSky0606/baike-crawler

　　3）为维护网络和谐，词条数据仅适用于研究与学习，请勿恶意抓取。