• 小白学 Python 爬虫(5):前置准备(四)数据库基础


    人生苦短,我用 Python

    前文传送门:

    小白学 Python 爬虫(1):开篇

    小白学 Python 爬虫(2):前置准备(一)基本类库的安装

    小白学 Python 爬虫(3):前置准备(二)Linux基础入门

    小白学 Python 爬虫(4):前置准备(三)Docker基础入门

    本篇文章,我们接着介绍基础内容,数据库。

    爬虫将数据爬取完成后,总要有地方存放吧,这个数据存在哪里呢?

    当然是数据库中,那个说放在 Excel 里的,你给我站住!

    当然 Excel 也是可以使用的,并且第三方也对 Excel 的操作提供了类库支持,但是,SQL 库还是一个老码农的坚持。

    数据库现在分为关系型数据库,非关系型数据库和新型数据库。

    还是换英文吧,说中文感觉不大对,防止小编说错,下面使用英文再介绍一遍。

    • SQL(Structured Query Language):数据库,指关系型数据库。主要代表: SQL Server 、 Oracle 、 MySQL 、 PostgreSQL 。

    • NoSQL(Not Only SQL):泛指非关系型数据库。主要代表: MongoDB 、 Redis 、 CouchDB 。

    • NewSQL:对各种新的可扩展/高性能数据库的简称。主要代表: Clustrix 、 GenieDB 、 TiDB 。

    本系列文章会用到的数据库主要有 Mysql 和 Redis 。

    下面,我们开始愉快的装起来。

    Mysql 安装

    Mysql 在 Win 环境下,可以找到 .exe 的安装包,但是小编不建议大家这么直接安装,这时,前面我们介绍的 Docker 就排上用场了,我们介绍如何在 Docker 中安装 Mysql 。

    本文系统环境将使用 Linux ,当然,在 Windows 下通过 Docker 安装过程和命令基本一致。

    首先,是将 Mysql 的镜像从镜像仓库中下载到本地:

    docker pull mysql:5.7
    

    静静的等待进度条走完,然后我们使用命令查看下刚才下载的镜像:

    docker images
    

    如果可以看到上图这样的显示就说明下载成功了,剩下的只需要我们来启动这个 Mysql 的镜像了。

    docker run --name mysql --restart=always -p 3306:3306 -v /www/mysql/conf.d:/etc/mysql/conf.d -v /www/mysql/mysql.conf.d:/etc/mysql/mysql.conf.d -v /www/mysql/datadir:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -e TZ=Asia/Shanghai -d mysql:5.7
    

    我来解释一下这里面的几个参数的含义:

    --name:这里是命名启动后容器名称。
    --restart:自动重启,比如服务器突然断电,重启服务器之后不需要重新手动启动。
    -p:指定端口号。
    -v:挂载。容器中的配置包括数据是不能直接访问的,但是可以将这些内容挂在到我们自己本机的目录中,小编这里的目录使用的是 linux 的文件目录,各位同学如果要在 win 的电脑上操作记得修改。
    -e:配置数据库的 root 密码和指定时区是亚洲的上海。
    -d:作为守护线程。

    然后就结束了,我们的 Mysql 就安装完成了,可以通过命令查看一下容器是否正常启动。

    docker ps
    

    顺利完成!是不是感觉很简单,我们只需要三个命令就搭建了一个单机版的 Mysql 服务。而且在不同的系统中通过 Docker 安装,命令近乎一致。

    但是 Mysql 装好了,我们怎么看里面的数据呢?这个可以安装一个客户端软件,叫做 Navicat ,可惜是收费的,而且还蛮贵的,那么怎么用就不用我多说了吧,自己悟。

    界面还是蛮清爽的,操作也十分简单,毕竟有中文版,具体怎么操作各位同学自己点点看大致就知道了。

    另外,建议各位同学在 Linux 中安装 Mysql 。

    Redis 安装

    首先来介绍下 Redis 。

    Redis 我们一般是将其当成缓存来使用的,因为它的数据是存在内存中,所以它的读写速度要远远超出 MySQL,数据在内存中,意味着一旦断电重启后,将会丢失所有数据。

    Redis 同样提供将数据持久化到硬盘,但是开启数据持久化到硬盘后,将会有效降低 Redis 的性能。

    同样,我们在 Docker 中安装 Redis 。

    下载 Redis :

    docker pull redis
    

    这里先创建一个文件夹用来做 Redis 的挂载目录,小编这里创建的文件夹目录为 /www/redis/ ,用来存放redis的配置文件、数据等。

    Redis 的启动命令为:

    docker run -d -p 6379:6379 --restart=always -v /www/redis/conf/redis.conf:/usr/local/etc/redis/redis.conf -v /www/redis/data:/data --name docker-redis redis --appendonly yes
    

    Redis 的配置文件这里小编就不贴出来了,属实太长了,上传至代码仓库,有需要的同学自取吧。

    顺便这个 Redis 缓存服务给大家做个共享,在公众号回复 redis 获取缓存服务配置。

    硬件负载较低,本共享仅做测试使用,希望各位同学不要做压测等高危操作。

    Excel 安装

    目前 Office 也是更新至了 2019 版,具体怎么装我就不多讲了,只讲一个词: Office Tool ,懂的自然懂,不懂的就去百度下,百度这个必然不会让你失望的。

    连接库安装

    上面我们讲完了数据库的安装,如果我们想使用 Python 连接到这些数据库上,还需要一些第三方提供的类库。

    PyMySQL

    在 Python 中,想要连接到 MySQL 进行操作,就需要安装 PyMySQL 。

    安装命令如下:

    pip install pymysql
    

    redis-py

    在 Python 中,想要连接到 Redis 进行操作,就需要安装 redis-py 。

    安装命令如下:

    pip install redis
    

    本篇内容到这里就结束,希望各位同学可以亲自动手实践一下,谢谢~~~。

    示例代码

    示例代码-Github

    示例代码-Gitee

  • 相关阅读:
    python正则表达式
    装饰器和生成器和迭代器
    进一步认识函数
    python:关于函数的初认识
    python的 随手记----字符编码与转码
    python:元祖与字典与集合的粗浅认识
    python:模块导入之浅认识
    java socket编程
    Spring框架下的单元测试方法
    ModelDriven机制及其运用
  • 原文地址:https://www.cnblogs.com/babycomeon/p/11939675.html
Copyright © 2020-2023  润新知