day 06 爬虫

今日内容：

js 解密，
selenium 进行 iframe 切换
selenium 执行js代码
给 selenium 添加 ua 添加代理ip
selenium 处理 cookie

selenium 案例 ---斗鱼  （用selenium 进行翻页  ）

 

js2py 的简单使用：

import js2py
'''
js2py 的简单使用！  
'''
#1 创建 js的环境对象
js_env_obj = js2py.EvalJs()

#2 要执行的js代码
js_code_str = '''  
    function add(a, b) {
        return a+b;  
    }
'''

#3 用环境执行下  js代码
js_env_obj.execute(js_code_str)
#4 使用js 里的函数
res = js_env_obj.add(1,3)
print(res)

import js2py
'''
js2py 的简单使用！  
'''
#1 创建 js的环境对象
js_env_obj = js2py.EvalJs()

js_env_obj.name = "tom"

#2 要执行的js代码
js_code_str = '''  
    function add(a, b) {
        
        return a+b;  
    }
    function test(){
        return name;  
    }
'''

#3 用环境执行下  js代码
js_env_obj.execute(js_code_str)
#4 使用js 里的函数
res = js_env_obj.test()
print(res)

破解js 的流程：

import requests
import js2py

if __name__ == '__main__':
    js_env = js2py.EvalJs()

    # 定义session 它可以自动保存cookie
    session = requests.session()
    session.headers = {  # 注意，ua 一定得是 移动端的！
        "User-Agent":"Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Mobile Safari/537.36 "
    }
    # 发送 rKey url  获取 rKey 的值   GET
    rKey_url = "http://activity.renren.com/livecell/rKey"
    js_env.n = session.get(rKey_url).json()["data"]  # 关键的数据n   ！
    js_env.t = {  # 关键数据t
        "phoneNum":"18337895201",
        "password":"123456",
        "c1":0,
    }
    # 两个js 文件的获取
    bigInt_url = "http://s.xnimg.cn/a85738/wap/mobile/wechatLive/js/BigInt.js"
    rsa_url = "http://s.xnimg.cn/a85738/wap/mobile/wechatLive/js/RSA.js"
    bigInt_js_code = session.get(bigInt_url).content.decode("utf8")
    rsa_js_code = session.get(rsa_url).content.decode("utf8")

    barrettmu_url = "http://s.xnimg.cn/a85738/wap/mobile/wechatLive/js/Barrett.js" #rsa js文件中 内嵌的文件 ！
    barrettmu_js_code = session.get(barrettmu_url).content.decode("utf8")

    # 执行 下两个 js代码
    js_env.execute(bigInt_js_code)
    js_env.execute(rsa_js_code)
    js_env.execute(barrettmu_js_code)

    js_core_code = '''
        t.password = t.password.split("").reverse().join(""),
        setMaxDigits(130);
        var o = new RSAKeyPair(n.e,"",n.n);   
        r = encryptedString(o, t.password);
        t.password = r,
        t.rKey = n.rkey
    '''
    # 执行  加密的代码
    js_env.execute(js_core_code)  # {'password': '12bf10409de3cdc31ded2dfd32a1ba836a66e8ac8ad5fe13754da42452155b5a', 'c1': 0, 'rKey': '39b392090c635431e86ef76d46f31f40', 'phoneNum': '18337895201'}
    # print(js_env.t)
    # print(type(js_env.t))  # 它不是 python中的字典，  <class 'js2py.base.JsObjectWrapper'>
    # print(dir(js_env.t))  # 但是 对象 的字典中 有 转成字典的 方法 to_dict  ,  也有转向列表的方法 to_list   ['__bool__', '__call__', '__class__', '__delattr__', '__dict__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattr__', '__getattribute__', '__getitem__', '__gt__', '__hash__', '__init__', '__iter__', '__le__', '__len__', '__lt__', '__module__', '__ne__', '__new__', '__nonzero__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__setitem__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__', '_obj', '_prop_of', 'to_dict', 'to_list']

    data = js_env.t.to_dict()  # data 才是我们最终要的数据！
    # print(data)

    #下面 我们有了账户 和 加密后的密码， 就可以登录了。
    login_url = "http://activity.renren.com/livecell/ajax/clog"
    session.post(login_url,data = data)  # 此时，如果登录成功，cookie 也就自动保存了。


    # 下面 就可以 带着cookie 来进 个人中心了    http://activity.renren.com/myprofile
    person_center_url = "http://activity.renren.com/myprofile"
    person_center_data_str  = session.get(person_center_url).content.decode("utf8")

    with open("renren.html","w",encoding="gbk") as f:
        f.write(person_center_data_str)

chrome  无头浏览器：

from selenium import webdriver

if __name__ == '__main__':
    # 1,创建浏览器对象
    driver = webdriver.Chrome()
    # 2,发请求
    driver.get("http://www.json.com/")

    # 3,获取数据
    data_str = driver.page_source
    print(data_str)

    # 4，关闭浏览器
    driver.quit()

设置无头浏览器（无界面）

from selenium import webdriver

if __name__ == '__main__':

    options = webdriver.ChromeOptions()
    options.add_argument("--headless")
    # 1,创建浏览器对象
    driver = webdriver.Chrome(options = options)
    # 2,发请求
    driver.get("http://www.json.com/")

    # 3,获取数据
    data_str = driver.page_source
    print(data_str)

    # 4，关闭浏览器
    driver.quit()

就用这个就可以！  

pass