• 爬虫一:什么是网络爬虫


    大家在做在做资料分析时依靠资料库资源,但是如果说没有办法从资料库取得资料的时候怎么办,我们可能采用另外一种方法:从网络上面取得相关资料,然后透过这样的资料做整理,在对资料做进一步的分析,我就可以从中间取得一些有用的资讯,作为你分析时候的依据,我就可以拿这样的资料就可以比较一些网站,或者搜集一些文字,言论,还有一些人物的资料, 或者是一个品牌网民对它的评价,到底是好的多还是坏的多 。

    首先我们怎么样获取网页内容,我们通过浏览器使用get或post的方法想服务器发送一个请求:

    浏览器------- request(get/post index.html HTTP/1.1)--->服务器

    然后服务器会做出相应的回应,它会把相应的html或css原始码回传回来,经过浏览器转译以后,变成漂亮清晰的页面:

    浏览器<------- response( HTTP/1.1 200 OK)---服务器

    对原始码分析整理后,就会把有用的资讯整理出来,对资料做进一步分析 

  • 相关阅读:
    python基础(常量,数据类型,if)
    c字符串操作函数
    磁盘读写,合并排序字符串
    5个学生,3门成绩,输入信息,保存到文件
    关于MQTT、HTTP、WebService
    循环队列Circular Queue
    ISR中断服务程序
    PID控制
    Linux定时器接口
    Embedded Agent
  • 原文地址:https://www.cnblogs.com/wangxishan/p/6396033.html
Copyright © 2020-2023  润新知