• 爬虫存储介质之CSV文件存储


    本文章来自度娘

    CSV文件存储

    CSV,全称为Comma-Separated Values,中文可以叫做逗号分隔值或字符分隔值,其文件以纯文本形式

    存储表格数据。该文件是一个字符序列,可以由任意数目的记录组成,记录间以某种换行符分隔。每条记

    录由字段组成,字段间的分隔符是其他字符或字符串,最常见的是逗号或者制表符。不过所有记录都有完

    全相同的字段序列,相当于一个结构化表的纯文本形式。它比Excel文件更为简洁,XLS文本是电子表格,

    它包含了文本、数值、公式和数据等内容,而CSV中不包含这些内容,就是特定字符分隔的纯文本,结构

    简单清晰。所以,有时候用CSV来保存数据是比较方便的。本节中,我们来讲解Python读取和写入CSV文件

    的过程。

    写入这里首先来看一个最简单的例子:

    首先,打开data.csv文件,然后指定打开的模式为w(即写入),获得文件句柄,随后调用csv库的writer( )

    方法初始化写入对象,传入该句柄,然后再调用writerow( )方法传入每行的数据即可完成写入。

    运行结束之后,会生成一个名为data.csv的文件,此时数据就成功写入了。直接以文本形式打开的话,

    其内容如下:

    可以看到,写入的文本默认以逗号分隔,调用一次writerow( )方法即可写入一行数据。用Excel打开的结果

    如下所示:

    如果想要修改列与列之间的分隔符,可以传入delimiter参数,其代码如下:

    这里在初始化写入对象时传入delimiter为空格,此时输出结果的每一列就是以空格分隔了,内容如下:

    另外,我们也可以调用writerows( )方法同时写入多行,此时参数就需要为二维列表,例如:

    输出效果是相同的,内容如下:

    但是一般情况下,爬虫爬取的都是结构化的数据,我们一般会用字典来表示。在csv库中也提供了字典

    的写入方式,示例如下:

    这里先定义3个字段,用fieldnames表示,然后将其传给DictWriter来初始化一个字典写入对象,接着可以

    调用writeheader( )方法先写入头信息,然后再调用writerow( )方法传入相应的字典即可。最终写入的结果

    是完全相同的,内容如下:

    这样就可以完成字典到CSV文件的写入了。

    另外,如果想追加写入的话,可以修改文件的打开模式,即将open( )函数的第二个参数改为a,代码如下:

    这样在上面的基础上再执行这段代码,文件内容便会变成:

    如果要写入中文内容的话,可能会遇到字符编码的问题,此时需要给open( )参数指定编码格式。比如,

    这里写入一行包含中文的数据,代码需要改写如下:

    如果想以Excel去读取存储的CSV文件,最好的将分隔符设置为英文逗号,编码设置为utf-8-sig,经验所得。

    如希望了解utf8与utf-8-sig编码间的区别,右转百度,有比较好的解释 

    这里需要给open( )函数指定编码,否则可能会发生编码错误。

    另外,如果接触过pandas等库的话,可以调用DataFrame对象的to_csv( )方法来将数据写入CSV文件中。

    读取

    我们同样可以使用csv库来读取CSV文件。例如,将刚才写入的文件内容读取出来。相关代码如下:

    运行结果如下:

    这里我们构造的是Reader对象,通过遍历输出了每行的内容,每一行都是一个列表形式。注意,如果

    CSV文件中包含中文的话,还需要指定文件编码。

  • 相关阅读:
    WPF MarkupExtension
    WPF Binding小数,文本框不能输入小数点的问题
    WPF UnhandledException阻止程序奔溃
    .Net Core的总结
    C#单元测试
    Csla One or more properties are not registered for this type
    unomp 矿池运行问题随记
    矿池负载运行监测记录
    MySql 数据库移植记录
    后台服务运行后无故停止运行,原因不明
  • 原文地址:https://www.cnblogs.com/dongxixi/p/11348329.html
Copyright © 2020-2023  润新知