Python之sqlite3数据库

Python之sqlite3数据库

一.splite3的构建

关于splite3的知识，可以参考：链接

import sqlite3
import os

path=os.getcwd()

conn=sqlite3.connect(path+'\db.db')

cur=conn.cursor()

二.存储数据的爬取

我们以快代理的ip地址作为存储对象

import pandas as pd

url="https://www.kuaidaili.com/free/inha/1/"

df=pd.read_html(url,encoding="utf-8")[0] # [0]：表示第一个table，多个table需要指定，如果不指定默认第一个

df

	IP	PORT	匿名度	类型	位置	响应速度	最后验证时间
0	122.4.40.6	9999	高匿名	HTTP	山东省济南市 电信	1秒	2020-04-29 19:31:01
1	118.212.107.180	9999	高匿名	HTTP	江西省新余市 联通	0.9秒	2020-04-29 18:31:01
2	125.108.84.240	9000	高匿名	HTTP	浙江省温州市 电信	2秒	2020-04-29 17:31:01
3	220.191.43.95	9000	高匿名	HTTP	浙江省杭州市 电信	2秒	2020-04-29 16:31:01
4	171.35.223.24	9999	高匿名	HTTP	江西省新余市 联通	1秒	2020-04-29 15:31:01
5	1.199.31.211	9999	高匿名	HTTP	河南省济源市 电信	2秒	2020-04-29 14:31:01
6	180.118.128.246	9000	高匿名	HTTP	中国 江苏省 镇江市 电信	1秒	2020-04-29 13:31:02
7	123.101.214.244	9999	高匿名	HTTP	河南省鹤壁市 电信	3秒	2020-04-29 12:31:01
8	218.14.108.53	8060	高匿名	HTTP	广东省惠州市 电信	3秒	2020-04-29 11:31:01
9	36.249.49.38	9999	高匿名	HTTP	福建省泉州市 联通	0.3秒	2020-04-29 10:31:01
10	101.132.123.99	8080	高匿名	HTTP	上海市上海市 阿里云	2秒	2020-04-29 09:31:01
11	171.11.179.115	9999	高匿名	HTTP	河南省济源市 电信	1秒	2020-04-29 08:31:01
12	112.111.77.202	9999	高匿名	HTTP	福建省南平市 联通	1秒	2020-04-29 07:31:01
13	1.198.73.117	9999	高匿名	HTTP	河南省济源市 电信	0.7秒	2020-04-29 06:31:01
14	175.42.68.157	9999	高匿名	HTTP	福建省宁德市 联通	3秒	2020-04-29 05:31:01

三.数据表的创建

cur.execute('create table if not exists ip_proxy(id INTEGER primary key,ip TEXT,port INTEGER,anonymity TEXT,types TEXT,locations TEXT,respondingspeed TEXT,time TEXT)')

<sqlite3.Cursor at 0x23b8b513e30>

conn.commit()

存储数据

for i in list(df.index):
    
    tmp=df.iloc[i].to_list()
    tmp[1]=int(tmp[1])
    
    data=[i+1]+tmp
    
    cur.execute('insert into ip_proxy values (?,?,?,?,?,?,?,?)',tuple(data))
    
    conn.commit()

四.数据展示

for row in cur.execute('select * from ip_proxy'):
    print(row)

(1, '122.4.40.6', 9999, '高匿名', 'HTTP', '山东省济南市 电信', '1秒', '2020-04-29 19:31:01')
(2, '118.212.107.180', 9999, '高匿名', 'HTTP', '江西省新余市 联通', '0.9秒', '2020-04-29 18:31:01')
(3, '125.108.84.240', 9000, '高匿名', 'HTTP', '浙江省温州市 电信', '2秒', '2020-04-29 17:31:01')
(4, '220.191.43.95', 9000, '高匿名', 'HTTP', '浙江省杭州市 电信', '2秒', '2020-04-29 16:31:01')
(5, '171.35.223.24', 9999, '高匿名', 'HTTP', '江西省新余市 联通', '1秒', '2020-04-29 15:31:01')
(6, '1.199.31.211', 9999, '高匿名', 'HTTP', '河南省济源市 电信', '2秒', '2020-04-29 14:31:01')
(7, '180.118.128.246', 9000, '高匿名', 'HTTP', '中国 江苏省 镇江市 电信', '1秒', '2020-04-29 13:31:02')
(8, '123.101.214.244', 9999, '高匿名', 'HTTP', '河南省鹤壁市 电信', '3秒', '2020-04-29 12:31:01')
(9, '218.14.108.53', 8060, '高匿名', 'HTTP', '广东省惠州市 电信', '3秒', '2020-04-29 11:31:01')
(10, '36.249.49.38', 9999, '高匿名', 'HTTP', '福建省泉州市 联通', '0.3秒', '2020-04-29 10:31:01')
(11, '101.132.123.99', 8080, '高匿名', 'HTTP', '上海市上海市 阿里云', '2秒', '2020-04-29 09:31:01')
(12, '171.11.179.115', 9999, '高匿名', 'HTTP', '河南省济源市 电信', '1秒', '2020-04-29 08:31:01')
(13, '112.111.77.202', 9999, '高匿名', 'HTTP', '福建省南平市 联通', '1秒', '2020-04-29 07:31:01')
(14, '1.198.73.117', 9999, '高匿名', 'HTTP', '河南省济源市 电信', '0.7秒', '2020-04-29 06:31:01')
(15, '175.42.68.157', 9999, '高匿名', 'HTTP', '福建省宁德市 联通', '3秒', '2020-04-29 05:31:01')