• 一个爬虫前的配置及爬虫简示


    采用Python3环境,并通过pip装几个包:




    大概是我的系统环境变量没有设置好吧,我看网上都是直接pip install xxx,我的还要多加python -m 指令

    设置好后,在python文件夹的Scripts里找到jupyter notebook.exe,打开,复制地址换浏览器需要输入服务器密码,按照网上教程我也没有修改成功,不知道原因,待解决吧。

    右上角New-python3,开始编写属于你的第一个爬虫吧。


    简单爬新浪网:

    import requests
    res = requests.get('http://mobile.sina.com.cn/')
    res.encoding = 'utf-8'
    print(res.text)

    这里get的原理在 http://study.163.com/my  网络爬虫实战中讲到,选择Chrome浏览器,右键检查,选择Doc,在Preview可以查看内容(需要F5重新爬取),是否爬取到内容


    其他小试:

    from bs4 import BeautifulSoup
    html_sample = '
    <html> 
        <head> 
            <meta charset="utf-8"> 
            <title></title> 
        </head> 
        <body> 
            <h1> This is a test</h1> 
        </body> 
    </html>'
    
    soup = BeautifulSoup(html_sample,'html.parser')
    header = soup.select('h1')
    print(header)
    print(header[0].text)

    from bs4 import BeautifulSoup
    
    html_sample = '
    <!DOCTYPE html> 
    <html> 
        <head> 
            <meta charset="utf-8"> 
            <title></title> 
        </head> 
        <body> 
            <h1 id = "title">C++</h1> 
            <h1 id = "title">Python</h1> 
            <a href="#" class = "link"> This is link2 </a> 
        </body> 
    </html> '
    
    
    soup = BeautifulSoup(html_sample,'html.parser')
    alink = soup.select('#title')
    print(alink)
    print('
    ')
    for link in alink:
        print(link)
    print('
    ')
    for link in alink:
        print(link.text)

    输出:

    [<h1 id="title">C++</h1>, <h1 id="title">Python</h1>]
    
    
    <h1 id="title">C++</h1>
    <h1 id="title">Python</h1>
    
    
    C++
    Python


  • 相关阅读:
    小学生都能学会的python(文件操作)
    小学生都能学会的python(深浅拷贝)
    小学生都能学会的python(小数据池)
    小学生都能学会的python(字典{ })
    小学生都能学会的python(列表[ ])
    小学生都能学会的python(编码 and 字符串)
    小学生都能学会的python(一)2018.9.3
    Ionic常用命令
    Ionic1.x项目中的Installing npm packages问题
    hdu1005
  • 原文地址:https://www.cnblogs.com/zhangmingzhao/p/7256640.html
Copyright © 2020-2023  润新知