/1 前言/
有爬虫经验的各位小伙伴都知道,正常我们需要登录才能获取信息的网站,是比较难爬的。原因就是在于,现在各大网站为了反爬,与爬虫机制斗智斗勇,一般的都加入了图片验证码、滑动验证码之类的干扰,让我们的爬虫半途折返。
本篇文章主要是针对哔哩哔哩的滑动验证码进行讲解和破解。
/2 方法探讨/
写这个文章之前,我就在想一个问题,关于破解滑动验证究竟是使用机器学习还是第三方服务的方法会比较好一些。关于这个问题,先说一下个人观点:本人作为一个爬虫老鸟,如果只是为了使用,非常建议使用第三方服务。主要原因有以下两点。
1、现在是2020年了,在IT行业的小伙伴们都知道一个事实,现在大红大紫的热门行业肯定都说是机器学习,大家都想入门机器学习。但是很多人还没入门就GG了,这是为什么呢?因为入门机器学习,是需要有高等数学底子的,可不是以前学一个语言,会常用逻辑就可以入门了的。这也是为什么到现在为止,依然还有非常大的机器学习人才缺口。
2、机器学习,一般玩不起。首先,你需要有大量的数据,然后再有一个不错的主机用于训练,再然后,就是需要你有高等数学的底子。如果这三个你的具备,并且学习了机器学习,你才可以勉强破解滑动验证码,并且还不敢保证自己训练的准确度。
以上就是我推荐使用第三方接口的原因,因为第三方接口就是专门做这类机器学习的。它们有强大的人力物力专门做破解各种验证码,并且识别率非常高,现在一般都是90%以上。此外,不仅价格还香,还可以让自己少掉很多根头发,何乐而不为了呢?
话说回来,并不是说我不建议学习机器学习。毕竟现在我们是处于一个人工智能时代,如果你已有不错的数学基础,并且对机器学习饶有兴趣,在工作或者学习之余,可以学习一下机器学习的,毕竟趋势如此,紧跟潮流。
简单总结一下:如果你的爬虫遇到了滑动验证码,建议直接使用第三方平台。如果你对机器学习很有兴趣,想尝试一下新方法,可以考虑一下机器学习。
/3 所需工具/
本文中使用的工具和之前不太一样,这次暂时没有用到selenium,而是使用了第三方服务:https://2captcha.com/。根据本人测试,这个平台是目前识别率最高的平台,价格也还行,3美元几百次的样子。接下来,我详细讲解一下这个打码平台。
本文中使用的工具和之前不太一样,这次暂时没有用到selenium,而是使用了第三方服务:https://2captcha.com/,这里我们只需要 requests 模块就可以啦!
/4 打码平台参数分析/
根据本人测试,这个平台是目前识别率最高的平台,价格也还行,3美元几百次的样子。接下来,我详细讲解一下这个打码平台。
既然我们选择了第三方平台,我们务必要看一下人家的文档,看看别人是怎么操作的。下面我们就2captcha平台的极验破解,看看官网上是如何实现的。
额...纯英文的,我也看不懂。。。这咋回事呢?这咋办哪?这可咋整啊?别慌,问题不大,小编带你们一步一步分析主要功能。
1、首先我们需要登录到账号,如下图所示,右上方有个Sign的提示,如果没有账号的话,得点击右上方的Register进行注册账号即可。
2、当登录完成后,会自动跳到主页,如下图所示。
上图中长方形框框圈起来的地方表示你的账户余额剩余多少钱,账户资金不足的话记得要氪金,否则是不能用滴,氪金过程这里就不多做解释了哈,问题不大。椭圆框框圈起来的地方表示的是你的唯一key值,每次请求要带上这个key的,所以你务必要保管好。
3、前期工作完成之后,接下来我们进入主题,研究文档。点击下图中红色圈的地方,API(全称是:Application Programming Interface,应用程序接口),一般API下面存放的都是文档。
4、之后弹出的界面就让人有些傻眼了,如下图所示。
额,尴尬的一批,这全部是英文额,不过不要慌,问题不大,继续往下滑动看看。
5、诶,在下方这里我们可以找到一个列表,如下图所示。
滑动到Rates这个菜单栏,我们能看到一个列表,我们要解决的就是极验(GeeTest,就是极验的英文翻译),所以我们只需要看GeeTest就好了,可以看到上面显示的单价是2.99美元。之后我们点击GeeTest,页面会进行跳转。
6、之后会弹出下图的英文界面,估计小伙伴们有的望而却步一波了。
7、不过仍然不要慌,别忘记了,我们还有翻译呢!点击浏览器的翻译功能,页面突然间就变得熟悉了,如下图所示。
这下是不是感觉清晰了很多了?虽然有些翻译的不尽人意,但是基本上我们能够明白翻译过来的意思,顺藤摸瓜,可以搞定原英文想要表达的意思。如果你英文好的话,就不用像小编这样这么费劲啦,给英文大佬打call!
可以看到上文中的操作提示,我们需要找到目标网站的gt,challenge和api_server三个值,然后,加上其他一些参数发送到网址https://2captcha.com/in.php,之后该网址会返回一个任务ID。
然后等个15秒左右以后,再向https://2captcha.com/res.php请求,带上任务ID加上一些其他参数,即可进行破解。
/5 总结/
写到这里,这篇文章已经超过2000个字了,估计小伙伴们都没有耐心看下去了,小编在这里大概整理一下上文的大体意思。
1、首先,我们确定需要第三方平台去帮助我们破解极验,之后我们需要找到这个第三方平台,并且需要进行注册。
2、注册之后,我们需要阅读API操作文档。
3、根据API操作文档,在翻译的帮助下,找到目标网站的gt,challenge和api_server三个值,然后,加上其他一些参数发送到 https://2captcha.com/in.php,会返回一个任务ID。
4、然后等个15秒左右以后,再像https://2captcha.com/res.php请求,带上任务ID加上一些其他参数,即可进行破解。
介于篇幅原因,这篇文章主要介绍了第三方打码平台和破解的理论部分,下一篇文章将详细介绍破解哔哩哔哩极验的具体过程,小伙伴们敬请期待吧!