Excel 逐条导入Mysql(数据更新)

其实,我的业务流程是, 先读取excel/csv -> pandas 数据清洗 -> 导入Mysql, 一般是做一个表append 或者是 if exist -> replace的操作

逐行来添加数据其实更加灵活和方便.

这里用的驱动是pymysql的一个包, 其实本质就是一个客户端, 服务端已经和mysql进行匹配了, 只是使用client罢了.

还是直接上代码吧, 还是蛮简单的.

#!/usr/bin/env python
# coding: utf-8
# author: chenjieyouge@gmail.com

'''
应用场景:
    将excel等存储的数据 逐条 导入到 Mysql, 即 拼接sql 语句insert into.

    特点:
        1. 更适用于有主键约束的的表, 如花名册管理, 直接将新花名册逐条插入, 如有门店重复,则 替换 掉,保持最新.
        2. to_sql 则更适用用于无主键约束, 大批量导入数据的场景.

    原理:
        连接: 用Python提供的pymysql驱动,直接拼接SQL去执行
        数据: 将每条数据进行"insert into 或 replace into 表名 values (), (), (), ()...每个()放一条数据.
        过程:
            1. 创建连接对象 con  名字取通俗易懂哈
            2. 创建游标对象cursor (通俗理解为连接对象的一个小弟, 用来执行sql, 获取数据..)
            3. 执行sql语句cursor.execute() 或 executemany()....
            4. 提交命令(事务) con.commit()
            5. 查询或提取数据 cursor.fetchall()
            6. 关闭con, cursor

'''

import pandas as pd
import pymysql


# 配置
主机 = "192.168.6.81"
用户 = "xxx"
密码 = 123456
库名 = "new_house"


# 连接

# 1. 创建连接对象, 游标对象
con = pymysql.connect(主机, 用户, 密码, 库名)
cursor = con.cursor()

def 连接测试(cursor):
    try:
        # 3. 连接测试: 执行sql, 提交, 查询
        cursor.execute("show tables;")
        # 4. 提交
        con.commit()
        # 5. 获取数据
        print(cursor.fetchall())
        # 6. 关闭连接
        cursor.close(); con.close()
        print("连接测试成功!")
    except Exception as e:
        print("连接测试失败!", e)


def 处理数据(path, sheet=None):
    """"后续可以写更复杂的数据处理逻辑"""
    table = pd.read_excel(path, sheet)
    # 将缺失值用 None 填充
    data = table.where(pd.notnull(table), None)
    return table


def 导入数据(cursor, table, to_table, method="replace"):

    len_cols = table.columns.size  # 字段的个数

    # 拼接sql语句: => insert into 表名 (字段1, 字段2 ...字段n) values (a,b,c), (d,e,f)....
    if method not in ("insert", "replace"):
        print("input error!")

    insert_sql = "%s into %s values (%s)" % (method,to_table, "%s,"*(len_cols-1) + "%s")

    # 变量每行数据, 组成生成器对象  ( (),(),(),(),(),()... ), 每个元组表示一条记录
    args =  (tuple(row) for _, row in table.iterrows())
    try:
        _ = cursor.executemany(insert_sql, args)
        con.commit()
        print("successfully!")
    except Exception as e:
        print("fail",e)
    finally:
        cursor.close()
        con.close()


if __name__ == '__main__':

    连接测试()

    # table = 处理数据("C:\Users\beike\Desktop\8月带看明细8.15.xls")
    #
    # 导入数据(cursor, table, "数据库有的表", "replace")