写在最前:互联网并非法外之地,爬虫仅供技术交流
运行环境
- python 3.7.4
- requests 2.10.0
- numpy 1.17.2
- opencv-python 4.2.0.34
爬取目标
- 模拟登录雨课堂
雨课堂目前的登录流程
这次想跟大家分享一下websocket协议的爬虫怎么做。我们以雨课堂的扫码登录为例。
雨课堂扫码登录的流程是
- 在
https://www.yuketang.cn/web?next=/v2/web/index&type=3
页面加载完毕后,客户端与服务端建立websocket链接。 - 随即客户端发送一段数据,用于请求微信二维码。
- 服务端拿到数据后反馈二维码相关信息。
- 并每隔一段时间重新发送一次二维码信息(我记得之前测试的时候是这样的,但是最近好像都需要客户端重发,服务端才回馈啊,那这样用websocket的意义何在)。
- 客户端根据信息去请求二维码图片。
- 用户扫码,由移动客户端发送信息至服务端确认用户正在登录。
- 服务端再通过websocket发送登录的相关信息回客户端。
- 客户端拿到登录的相关信息后post到login接口进行登录,至此登录成功。
具体步骤
一、找到websocket接口
雨课堂的websocket接口为wss://www.yuketang.cn/wsapp/
headers其实可以不带,雨课堂好像没有做相关鉴权。之前好像看到网上有说要带Sec-WebSocket
相关属性的headers,其实不用啊,这个使用websocket就会自动生成。
二、查看websocket数据交流情况
数据 | 时间 | |
---|---|---|
WebSocket 连接已建立 | 1602385999.188397 | |
↑ | {"op":"requestlogin","role":"web","version":1.4,"type":"qrcode","from":"web"} |
1602385999.4041245 |
↓ | {"op":"requestlogin","loginid":19xxx22,"expire_seconds":60,"ticket":"https://mp.weixin.qq.com/cgi-bin/showqrcode?ticket=xxxxxxxxx","qrcode":"http://weixin.qq.com/q/xxxxxxxxx"} |
1602385999.4143353 |
第二行(不包含表头)的数据就是我们需要发给客户端的。
第三行就是他会反馈的数据,隐私信息已经打码。
ticket就是登录二维码的链接啦。
可以下载到本地然后用PIL这个库显示出来,用手机扫码,服务端就会通过websocket链接发送如下数据给我们。
{"subscribe_status":true,
"AppOpenID":"打码",
"profile_edit_status":true,
"UserID":"打码",
"DateJoined":"2019-04-30T13:31:55",
"Role":2,
"LastLogin":"2019-04-30T13:34:18",
"Department":"",
"WeixinUnionID":"打码",
"LastLoginIP":"打码",
"noRecArticle":true,
"Auth":"打码",
"ppt_config_data":{},
/*姓名、性别、年龄、头像、位置等相关信息已经全部删除*/
"Language":"zh-cn",
"is_self_set":false,
"MinaOpenID":"",
"isBind":true,
"user_on_lessons":[],
"AndroidOpenID":"",
"op":"loginsuccess",
"loginid":"打码"}
关键信息就是里面的UserID和Auth,是接下来登录的关键。
三、登录
我们要先去GET这个链接https://www.yuketang.cn/v/course_meta/user_info
获取一个csrftoken。
接着就可以将之前获得的UserID和Auth POST到https://www.yuketang.cn/pc/web_login
获取sessionid,至此登录成功。
具体的代码
import requests
import websocket
import json
import cv2 as cv
import numpy as np
userinfo = {}
session = requests.session()
def on_message(ws, message):
global userinfo
userinfo = json.loads(message)
if 'subscribe_status' in userinfo:
ws.close()
return
req = session.get(userinfo['ticket'])
cv.namedWindow('input_image', cv.WINDOW_AUTOSIZE)
cv.imshow('input_image', cv.imdecode(np.array(bytearray(req.content), dtype='uint8'), cv.IMREAD_UNCHANGED))
cv.waitKey(0)
cv.destroyAllWindows()
def on_error(ws, error):
print(error)
def on_open(ws):
ws.send(data=json.dumps({"op":"requestlogin","role":"web","version":1.4,"type":"qrcode","from":"web"}))
print("open")
# websocket数据交互
ws = websocket.WebSocketApp("wss://www.yuketang.cn/wsapp/",
on_message = on_message,
on_error = on_error)
ws.on_open = on_open
ws.run_forever()
# 登录
req = session.get("https://www.yuketang.cn/v/course_meta/user_info")
session.post("https://www.yuketang.cn/pc/web_login",data=json.dumps({'UserID':userinfo['UserID'],'Auth':userinfo['Auth']}))
# 获取自己的课程列表
req = session.get("https://www.yuketang.cn/v2/api/web/courses/list?identity=2")
print(json.loads(req.content))