• 暑假周报告1


    上周主要学习了Python的相关知识

       1.Python基础知识

        2.基于Python的爬虫有关知识

    并且综合实战自己完成了一套中国疫情的监控系统,其中涉及的知识面还是很多的:

      1.Python的基本语法:字符串切片,元组定义,列表定义,字典定义,列表和字典的遍历,还有俩个列表合并为一个字典等等

       2.爬虫的基本知识,urlib发送请求,requests发送请求,以及数据提取和清洗,数据的提取主要用到了 xpath元素定位和selector元素定位,数据清洗是解析网页结构之后的基本操作

       3.Python与后台的MySQL交互,这一部分关键不是数据库的连接和关闭,而是sql语句的书写,以及查出数据之后的形式以及用列表,字典,元组等基本操作函数来把数据变成自己想要的形式

       4.用flask搭建web服务,并且通过ajax实现前端和后端的数据交互,这里最关键的是ajax向路由发送请求的时候要注意路径,默认的是 http://127.0.0.1:5000/+路由名称,必须写全才可以,只写路由名称会有404报错,无法得到数据(这个坑我找了整整2.5小时,太痛苦了),还有可能是flask跨域问题导致的,需要安装 flask_cors这个包.

       5.爬取百度7日热搜榜的全部内容,并且制作百度热词云图,学会了使用selnium爬取,并且分词的时候用到了“结巴”这个库很智能的将热搜内容进行分词。

    前几天学习的基本就是这么多,下周要开始大数据的学习。

    其中中国疫情监控系统后续还需要部署,以及使用crontab定时调度爬虫。

    疫情监控系统基本成型,但是还有几个地方需要修改,目前成品如下:

  • 相关阅读:
    发送电子邮件
    PHP Session
    Cookie
    Python基础语法
    Python中文编码
    Python简介
    PHP文件上传
    基于1.22.1版本的k8s部署
    k8s基于NFS创建动态存储StorageClass
    关于在k8s-v1.20以上版本使用nfs作为storageclass出现selfLink was empty, can‘t make reference
  • 原文地址:https://www.cnblogs.com/g414056667/p/13431516.html
Copyright © 2020-2023  润新知