• python数据处理(四)之数据获取与存储


    1.前烟

    几个数据问题

    1.1 是否能够联系上作者本人

    1.2 数据是否定期检查错误并更新

    1.3 数据是否包含数据获取方法的信息,是否包含数据获取过程中使用的样本类型

    1.4 有没有其他数据源可以验证这个数据集

    1.5 根据我对这个话题了解的所有只是,数据是否可信

    三个回答是yes的话,数据可靠,否则要重新考虑数据

    2 真实性核查

    内容:

    2.1 联系数据源、核查最新的方法和版本

    2.2 找到其他好的数据源作对照

    2.3 联系专家,探讨好的数据源和真实的信息

    2.4 进一步研究你的主题,检查你的数据源或数据集是否可信

    3 数据可读性、数据清洁度和数据寿命

    3.1 数据的清洁度有多高

    3.2 是否有人给出了用统计误差率,或者修改了错误的数据条目,或者误报了数据

    3.3 是否会发布进一步跟新,这些更新是否会发送给你?

    3.4 数据采集过程中使用了哪些,如何验证这些方法

    4 寻找数据

    4.1 打电话

    4.2 美国政府数据

    4.3 全球政府和城市开放数据

    4.4 组织数据和非政府组织数据

    4.5 教育数据和大学数据

    4.6 医学数据和科学数据

    4.7 众包数据和API

    5 案例研究:数据调查实例

    6 数据存储

    6.1 数据库:关系数据库MySql,非关系数据库Nosql,python创建本地数据库,云存储,本地存储和python

  • 相关阅读:
    Don't Dismiss Georgia Tech's $6,600 Online Master's Degree
    Java SPI机制学习笔记
    Java SPI机制简介
    Java SPI机制
    Java SPI机制原理和使用场景
    中文代码之Spring Boot集成H2内存数据库
    H2数据库攻略
    JAVA 项目中使用 H2 数据库
    Java内存数据库-H2介绍及实例(SpringBoot)
    内存数据库-H2简介与实践
  • 原文地址:https://www.cnblogs.com/qiu-hua/p/12615795.html
Copyright © 2020-2023  润新知