csv格式的数据存储到mysql

python写的，有点冗余,先码出来~~~~

这是data_stored.py的代码

# -*- coding:utf-8 -*-
# 存数据到mysql (只存了时间数字）
import pymysql
import csv
import datetime
import settings
from mysql import db
import os,time
import pandas as pd
import numpy as np
import threading
from apscheduler.schedulers.blocking import BlockingScheduler
from datetime import date
import csv
import utils
# filename = 'may_origin.csv'
# tablename = 'origin_data'
class data_stored(object):
    def __init__(self):
        pass


    def data_stored(self,filename,tablename):

        csvfile = open(filename,'r')
        dict_reader = csv.DictReader(csvfile)
        db.connect()
        datas = []
        freq = 0

        for row in dict_reader:
             row = dict(row)
             if row['']:
                del(row[''])
     #创建表
             columns =[]
             for i in row.keys():
                  columns.append(i)
             if (db.is_table_exist(tablename=tablename,dbname=settings.database) ==None and freq ==0 ):
                    db.create_table(tablename=tablename,columns=columns)
                    freq += 1
                    print("create is ok")
             else:
                  pass
    #插入数据
             row['time'] = int(time.mktime(time.strptime(row['time'], '%Y-%m-%d %H:%M:%S')))
             datas.append(row)
        db.insert_mysql_with_json(tablename, datas)
        print("insert is ok")
        db.disconnect()

    def data_to_csv(self,filename,tablename,starttime,endtime,readfile=None,sep=None):

        db.connect()
        fieldNames, results = db.find(tablename, starttime, endtime)


        data = []

        for fn in fieldNames:
            data.append(fn)
        #文件不存在
        if readfile == None:
           csvfile = open(filename, 'w')
           writer = csv.writer(csvfile, dialect=("excel"))
           # 插入列名
           data_1 = []
           data_1 = sorted(set(data), key=data.index)
           writer.writerow(data_1)
        #文件存在
        else:
            csvfile = open(filename, 'a')
            writer = csv.writer(csvfile, dialect=("excel"))

        # 插入data
        for info in results:
            data_2 = []
            # for m_2 in info:
            #     data_2.append(m_2)
            writer.writerow(info)
        csvfile.close()
        db.disconnect()
# #
# if __name__ == "__main__":
#     filename='may_origin.csv'
#     filename2='csvtest_05.csv'
#     tablename = 'originData'
#     st = 1462032004
#     et = 1462032007
#
#     t = data_stored()
#     starttime = datetime.datetime.now()
#
#     # t.data_stored(filename,tablename)
#     t.data_to_csv(filename2,tablename, st,et)
#     endtime =datetime.datetime.now()
#
#     print(endtime-starttime)
ds = data_stored()

其中调用了mysql.py的代码就不码了，就是一些连接、断开数据库connect()、disconnect()，创建数据库create_table()，判断tablename是否存在is_table_exist，以及查列名find_columns()，查找数据find()，还有插入数据库数据insert_into_mysql()。

import settings
from mysql import db
import os
import csv
import utils


def time_main(start_time, end_time, tablename, columns=None):
        timespan = settings.timespan
        output_filename = 'sfhd_' + '_origin_' + utils.getDigitDay(start_time) + '.csv'
        db.connect()
        # 判断输出文件是否存在 ：False为不存在
        if os.path.isfile(output_filename) == False:
              pass
        else:
              end_time = start_time
              start_time = start_time -86400
              output_filename = 'sfhd_' + '_origin_' + utils.getDigitDay(start_time) + '.csv'


        # 隔一个时间段timespan存一次
        with open(output_filename, 'w') as csvfile:

            if columns == None:
                columns = db.find_columns(tablename)
            data = list(columns)

            writer = csv.writer(csvfile, dialect=("excel"))
            data_1 = sorted(set(data), key=data.index)
            writer.writerow(data_1)

            temp_time = start_time + timespan
            current_time = start_time

            while temp_time <= end_time+3:
                utils.log_easy('time_main', utils.getTimeDes(temp_time))
                fieldNames, results = db.find(tablename, current_time, temp_time-1, columns)
                # 插入data
                for info in results:
                    writer.writerow(info)
                current_time = temp_time
                temp_time = current_time + timespan
        db.disconnect()

这是简化过后的mysql数据存到CSV文件中。

常见的mode取值组合

r或rt  默认模式，文本模式读
rb     二进制文件
 
w或wt 文本模式写，打开前文件存储被清空
wb    二进制写，文件存储同样被清空
 
a   追加模式，只能写在文件末尾
a+  可读写模式，写只能写在文件末尾
 
w+ 可读写，与a+的区别是要清空文件内容
r+ 可读写，与a+的区别是可以写到文件任何位置

在选择读文件的方式时，我发现 with open 打开文件并存数据，要比直接open打开存数据要快。因为前者可以在存好数据后就自动关闭文件，并且可以很好处理上下文的异常，还有清理工作。