先来吐槽一下，突然接到一个任务，要我收集所有的联行行号，由于网络的原因，我开始访问页面都很慢，我就想着去网上找找现成的，结果CSDN上果然有好多人上传的，但是由于很早以前CSDN升级以后，账号全都要解封，我这个人记性不好，密码什么的都忘记了，连账号都模糊了，所以就让朋友帮忙下载，结果需要C币，我朋友的刚好还不够，我就很无奈了。再次想要写博客的时候，那时候我曾在CSDN和博客园犹豫过，后来选择博客园的主要原因是，改密码方便，这个密码我真记不住，每次需要输密码的时候，果断找回，然后重新来。但是CSDN的找回密码简直逆天的繁琐。言归正传：
联行行号，我的理解就是每个银行的注册编号，与银行名称一一对应且唯一。
目前能直观的得到数据的有两个网站，那么就相当于找到了数据源：
- http://www.lianhanghao.com
- http://www.eoeit.cn/lianhanghao/index.php
简单说一下上面两个数据源的区别：
第一点，1号数据源的响应速度快，2号数据源的响应速度慢；第二点，1号数据源中的数据有掺入别的字符，数据不纯，2号数据源的数据不含其他无用字符；第三点，1号数据源的数据结构相对完整，2号数据源的数据结构不一定完整；第四点，1号数据源的数据量少，2号数据源的数据量多（差的不是很多）
两个数据源的数据都抓了，基本的代码逻辑是一样的，直接上代码（python，稍微说一下，随着中基本上只使用一次的爬虫，没必要花很多时间写的很完整，只要不出大的问题，一次性过了就不要了，不用花太多时间架构代码）
1 #!/usr/bin/env python 2 # -*- coding: utf-8 -*- 3 4 # @Author : mario 5 # @File : bank_code_crawler.py 6 # @Project : reptillian 7 # @Time : 2018-09-10 20:47:35 8 # @Desc : File is ... 9 import datetime 10 import threading 11 12 import requests 13 from pyquery import PyQuery as pq 14 15 16 def get_data(i): 17 # 每个线程抓664页数据 18 print("第" + str(i) + "号启动线程") 19 file = open("线程" + str(i) + "收集的数据.txt", 'w', encoding="utf-8") 20 for page in range((i - 1) * 664, i * 664): 21 # for page in range(6455-1, 6455): # 这行代码用来补充数据 22 try: 23 url = "http://www.eoeit.cn/lianhanghao/index.php?page=" + str(page + 1) 24 response = requests.get(url, "b") 25 html = response.text 26 tbody = pq(html)("tbody") 27 trs = pq(tbody)("tr") 28 for tr in trs: 29 data = pq(tr)("td").text().replace(" ", ",") 30 file.write(data) 31 file.write(" ") 32 file.flush() 33 except Exception as e: 34 file.write("====抓去第"+str(page+1)+"页面数据异常 ") 35 print(e) 36 print("第" + str(page + 1) + "页数据") 37 file.close() 38 end_time = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S') 39 print(end_time) 40 41 42 def init_threads(threads, number): 43 for i in range(0, number): 44 t = threading.Thread(target=get_data, args=(i + 1,)) 45 threads.append(t) 46 return threads 47 48 49 if __name__ == "__main__": 50 begin_time = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S') 51 print(begin_time) 52 # 初始化线程 53 threads = [] 54 init_threads(threads, 10) 55 # 启动线程 56 for thread in threads: 57 thread.start()
以上就是整个爬虫的代码，核心的代码只有10行左右，线程是后来加上去的，但是基本上没有什么用。
补充说明：
第一点：10个线程太多了，还是会导致服务器拒绝连接，简单的解决方案就是，虽然定义了线程，但每次还是1个线程跑，比如：初始化的时候传入了threads和10，但是在初始化方法的for循环中写成 for i in range(9,number):我是懒得重新在写代码，对于一次性的，这样改我觉得方便，不用考虑后期维护什么的，因为这种一次性的爬虫是没有后期的。
第二点：代码第21行，是用来解决如下现象：比如，比如第2000页的数据请求时出了问题，那么我不想让程序停下来，继续抓2001页的数据，这样最后的结果就会少了一些页面的数据，最后用这个稍微补充一下，然后整理数据就可以了。
好像没有找到上传附件的地方，不过如果有谁需要可以联系我，大概数据在13W左右吧。