python中数据读取的那些事——python读取excel、txt

继续讲一点python读取数据相关的操作为数据分析作准备。

利用pandas读取

一般在做数据分析时最常接触的就是逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。CSV文件由任意数目的记录组成，记录间以某种换行符分隔；每条记录由字段组成，字段间的分隔符是其它字符或字符串，最常见的是逗号或制表符。通常，所有记录都有完全相同的字段序列。

而大多数情况下读csv文件用pandas就可以搞定。

import pandas as pd
data = pd.read_csv('目录/文件名')

要注意的是，如果直接pd.read_csv('文件名')要确保该文件在当前工作目录下。如果使用上面的绝对路径方法就不用将文件加入当前工作目录。

如果只想读取csv文件中部分数据也是可以的

data = pd.read_csv("文件名", usecols=['列名1', '列名2'])

当然在读取过程中可以添加一些参数来达到对数据进行处理比如

 data = pd.read_csv("文件名",header=None,sep='	' ) 

header就是指定dataframe的列名，默认为第一行，即header=0，要是不想读取列名，则header=None就可以，sep主要是用来分列的，sep=’ ’意思是使用 作为分隔符。

官方文档指出对于read_csv()这个参数默认是英文逗号’ ,’而对于read_table()这个参数默认是制表符 ‘|t’ 。当然用户可以根据自己csv文件格式的特点自行设置。read_csv()还有一个参数是 delimeter， 作用与sep相同，只不过delitemer的默认值为None，而不是英文逗号 ‘,’

如果是读取以txt文件提供的数据，只需将pd.read_csv()改成pd.read_table即可

data = pd.read_table('文件名',header=None,encoding='gb2312',sep=',',index_col=0)

其中header=None:没有每列的column name，可以自己设定，encoding=‘gb2312’:其他编码中文显示错误，sep=’,’:用逗号来分隔每行的数据，index_col=0:设置第1列数据作为index。

如果是Excel的其他格式xls、xlsx等，可以使用

data = pd.read_excel('filename.xlsx')

当然也可以将文件另存为csv格式读取（有时候直接读xls会报错）。

注意：在读csv的时候要确保行与行之间没有空格。否则就会报错。最后看下read_csv/table的全部相关参数

1.filepath_or_buffer:（这是唯一一个必须有的参数，其它都是按需求选用的）
文件所在处的路径

2.sep：
指定分隔符，默认为逗号','

3.delimiter : str, default None
定界符，备选分隔符（如果指定该参数，则sep参数失效）

4.header：int or list of ints, default ‘infer’
指定哪一行作为表头。默认设置为0（即第一行作为表头），如果没有表头的话，要修改参数，设置header=None

5.names：
指定列的名称，用列表表示。一般我们没有表头，即header=None时，这个用来添加列名就很有用啦！

6.index_col:
指定哪一列数据作为行索引，可以是一列，也可以多列。多列的话，会看到一个分层索引

7.prefix:
给列名添加前缀。如prefix="x",会出来"x1"、"x2"、"x3"酱纸

8.nrows : int, default None
需要读取的行数（从文件头开始算起）

9.encoding:
乱码的时候用这个就是了，官网文档看看用哪个：
https://docs.python.org/3/library/codecs.html#standard-encodings

10.skiprows : list-like or integer, default None
需要忽略的行数（从文件开始处算起），或需要跳过的行号列表（从0开始）。

其他方法

使用CSV模块读取csv文件

import csv 

csv_file=csv.reader(open('filename.csv','r'))
content=[] #用来存储整个文件的数据，存成一个列表，列表的每一个元素又是一个列表，表示的是文件的某一行
for line in csv_file:
    content.append(line)

上面的过程其实就是遍历csv文件的每一行，然后将每一行的数据作为一个元素存到设定好的list中，所以最终得到的是一个list。

使用python I/O 读取CSV文件

使用python I/O方法进行读取时即是新建一个List 列表然后按照先行后列的顺序(类似C语言中的二维数组)将数据存进空的List对象中，如果需要将其转化为numpy 数组也可以使用np.array(List name)进行对象之间的转化。

data = []
with open(birth_weight_file) as csvfile:
    csv_reader = csv.reader(csvfile)  # 使用csv.reader读取csvfile中的文件
    birth_header = next(csv_reader)  # 读取第一行每一列的标题
    for row in csv_reader:  # 将csv 文件中的数据保存到birth_data中
        data(row)

使用tensorflow读取数据(转)

import tensorflow as tf
import os


def csvread(filelist):
    '''
    读取CSV文件
    :param filename:  路径+文件名的列表
    :return: 读取内容
    '''

    # 1. 构造文件的队列
    file_queue = tf.train.string_input_producer(filelist)

    # 2. 构造csv阅读器读取队列数据（按一行）
    reader = tf.TextLineReader()

    key,value = reader.read(file_queue)

    # 3.对每行内容解码
    # record_defaults:指定每一个样本的每一列的类型，指定默认值[['None'],[4.0]]
    records = [['None'],['None']]

    example,label = tf.decode_csv(value,record_defaults=records)

    # batch_size跟队列，数据的数量没有影响，只决定这批次取多少数据
    # 4. 想要读取多个数据，就需要批处理
    example_batch,label_batch = tf.train.batch([example,label],batch_size=9,num_threads=1,capacity=9)
    # print(example,label)
    return example_batch,label_batch

if __name__ == '__main__':
    # 找到文件，构建列表
    filename = os.listdir('./data/csvdata/')

    # 拼接路径 重新组成列表
    filelist = [os.path.join('./data/csvdata/',file) for file in filename]

    # 调用函数传参
    example_batch,label_batch = csvread(filelist)

    # 开启会话
    with tf.Session() as sess:
        # 定义一个线程协调器
        coord = tf.train.Coordinator()

        # 开启读文件的线程
        threads = tf.train.start_queue_runners(sess,coord=coord)

        # 打印读取的内容
        print(sess.run([example_batch,label_batch]))


        # 回收子线程
        coord.request_stop()

        coord.join(threads)

使用xlrd读取Excel

官方地址

安装：pip install xlrd

简单使用

import xlrd
# 打开文件
data = xlrd.open_workbook('filename.xlsx')

整体思路为，打开文件，选定表格，读取行列内容，读取表格内数据。

data.sheet_names()  # 获取所有sheet名字
data.nsheets        # 获取sheet数量
data.sheets()       # 获取所有sheet对象
sheet1 = data.sheet_by_name("test")  # 通过sheet名查找
sheet2 = data.sheet_by_index(3)  # 通过索引查找
rows = sheet1.row_values(2)#获取行内容
cols = sheet1.col_values(3)#获取列内容

readline读取txt

#第一种方法
f = open("data.txt","r")   #设置文件对象
line = f.readline()
line = line[:-1]
while line:             #直到读取完文件
    line = f.readline()  #读取一行文件，包括换行符
    line = line[:-1]     #去掉换行符，也可以不去
f.close() #关闭文件


#第二种方法
data = []
for line in open("data.txt","r"): #设置文件对象并读取每一行文件
    data.append(line)               #将每一行文件加入到list中


#第三种方法
f = open("data.txt","r")   #设置文件对象
data = f.readlines()  #直接将文件中按行读到list里，效果与方法2一样
f.close()             #关闭文件

好了，以上就是python中读取数据的一些常用方法，在遇到的时候肯定是首先选择pandas，读出来的就是dataframe十分方便数据切片、筛选、合并等操作。关于数据写的相关操作以后再讲吧。