史上最新、最详细、保姆教程、爬虫：爬取最新500个智能合约

from bs4 import BeautifulSoup
import urllib.request,urllib.error
import urllib.parse


count=0
def askURL():#获取当前页的智能合约地址
    head={ #模拟浏览器头部信息
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"
    }
    #用户代理，告诉豆瓣服务器机器类型。
    baseurl="https://etherscan.io/contractsVerified/" #获取智能合约地址页面 基地址
    for i in range(1,10):
         url=baseurl+str(i)#1-9页 加在基地址后面
         print(url)
         request = urllib.request.Request(url,headers=head,method="GET")#封装访问信息
         response = urllib.request.urlopen(request,timeout=30)#访问网页，必须设置 访问时间超过多少，否则会被拒绝访问
         html=response.read().decode("gbk")#以gbk的方式解码，添加在列表里
         Parse_html(html)#在每一个合约中抓取源代码

def Parse_html(html):
    bs = BeautifulSoup(html,"html.parser")#解析每个html文件，
    head = {  # 模拟浏览器头部信息，向豆瓣服务器发送消息
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"
    }
    t_list=bs.find_all(class_="hash-tag text-truncate") #将每个页面中的25个合约地址获取到
    str1="https://etherscan.io/address/" #合约页面基地址
    str2="#code"#合约页面地址的最后部分，合约地址在str1、str2中间

    for item in t_list:
        global count #全局变量 文件名
        url=str1+item.string+str2 #拼全合约地址
        request = urllib.request.Request(url, headers=head, method="GET") #打包访问信息
        print("contract:"+url)
        response = urllib.request.urlopen(request,timeout=30) #访问合约页面
        contract = response.read().decode("utf-8")  #解析合约页面
        ds = BeautifulSoup(contract, "html.parser")#用html解析打开
        contract = ds.find_all(class_="js-sourcecopyarea editor") #定位页面中的合约信息
        text=contract[0]#只取合约 去除标签
        result=text.get_text()# 转成string返回给result  因为write只能写string
        filename = str(count) + 'sourceCode.txt'
        count=count+1
        with open(filename, 'w',encoding='utf-8') as file_object:
             file_object.write(str(result))
askURL()

最近由于科研需要，今天手撸了一个爬取etherscan.io官网上最新的500个智能合约代码。

maybe爬虫或者代码架构有些不合理，但是我是一只能抓老鼠的猫！

因为etherscan.io官网是国外的，所以需要FQ才能访问。所以该代码的运行必须保证本机能够FQ。

代码中没有设置国外代理，博主是没有找到个free的国外代理，用的本机的FQ软件。

下面教程，教你一步一步的设置python程序在你本机能够FQ的情况下，从你本地FQ出去爬取智能合约。

First:

 Second:

Third:

 Forth:

结果：起飞