• 小白学 Python 数据分析(2):Pandas (一)概述


    人生苦短,我用 Python

    前文传送门:

    小白学 Python 数据分析(1):数据分析基础

    概览

    首先还是几个官方链接放一下:

    Pandas 官网:https://pandas.pydata.org/

    Pandas 中文网:https://www.pypandas.cn/

    Pandas Github:https://github.com/pandas-dev/pandas

    先介绍一下 Pandas ,在中文网上是这么描述的:

    Pandas 是 Python 的核心数据分析支持库,提供了快速、灵活、明确的数据结构,旨在简单、直观地处理关系型、标记型数据。Pandas 的目标是成为 Python 数据分析实践与实战的必备高级工具,其长远目标是成为最强大、最灵活、可以支持任何语言的开源数据分析工具。经过多年不懈的努力,Pandas 离这个目标已经越来越近了。

    总结一下,就是 Python 数据分析离不开 Pandas , Pandas 已经上升成为 Python 的数据分析的支持库了。

    那么 Pandas 所适用的数据类型如下:

    • 与 SQL 或 Excel 表类似的,含异构列的表格数据;
    • 有序和无序(非固定频率)的时间序列数据;
    • 带行列标签的矩阵数据,包括同构或异构型数据;
    • 任意其它形式的观测、统计数据集, 数据转入 Pandas 数据结构时不必事先标记。

    Pandas 有两种常用的数据结构,一个是 Series (一维数据),另一个是 DataFrame (二维数据)。两种数据结构足以处理金融、统计、社会科学、工程等领域里的大多数典型用例。

    那么什么是一维数据什么是二维数据呢?

    简单理解下,如果我们有一个数组,如下:

    [1, 2, 3, 4, 5]
    

    这个数组可以称为一维数据。

    那么二维数据是多个一维数据组成了一个二维数据,比如多个一维数组,如下:

    [[1, 2, 3, 4, 5],
    [1, 2, 3, 4, 5],
    [1, 2, 3, 4, 5],
    [1, 2, 3, 4, 5]]
    

    这种数据也可以称之为表格数据,既然是表格数据,那么就会有表头,可以参考 Excel ,如果有数据库使用经验的同学可以直接参考数据库中的表。

    Pandas 是基于 Numpy 开发而成的,可以与其它第三方科学计算支持库完美集成。

    Pandas 的优势如下:

    • 处理浮点与非浮点数据里的缺失数据,表示为 NaN
    • 大小可变:插入或删除 DataFrame 等多维对象的列;
    • 自动、显式数据对齐:显式地将对象与一组标签对齐,也可以忽略标签,在 Series、DataFrame 计算时自动与数据对齐;
    • 强大、灵活的分组(group by)功能:拆分-应用-组合数据集,聚合、转换数据;
    • 把 Python 和 NumPy 数据结构里不规则、不同索引的数据轻松地转换为 DataFrame 对象;
    • 基于智能标签,对大型数据集进行切片花式索引子集分解等操作;
    • 直观地合并(merge)连接(join)数据集;
    • 灵活地重塑(reshape)透视(pivot)数据集;
    • 支持结构化标签:一个刻度支持多个标签;
    • 成熟的 IO 工具:读取文本文件(CSV 等支持分隔符的文件)、Excel 文件、数据库等来源的数据,利用超快的 HDF5 格式保存 / 加载数据;
    • 时间序列:支持日期范围生成、频率转换、移动窗口统计、移动窗口线性回归、日期位移等时间序列功能。

    这些功能主要是为了解决其它编程语言、科研环境的痛点。处理数据一般分为几个阶段:数据整理与清洗、数据分析与建模、数据可视化与制表,Pandas 是处理数据的理想工具。

    其它说明:

    • Pandas 速度很快。Pandas 的很多底层算法都用 Cython 优化过。然而,为了保持通用性,必然要牺牲一些性能,如果专注某一功能,完全可以开发出比 Pandas 更快的专用工具。
    • Pandas 是 statsmodels ( statsmodels 是 python 中处理统计学问题的重要模块)的依赖项,因此,Pandas 也是 Python 中统计计算生态系统的重要组成部分。
    • Pandas 已广泛应用于金融领域。

    什么是 Cython ?

    C 语言是编译性语言,而 Python 则是解释性语言,简而言之,就是 Python 运行是逐行运行,不需要实现编译,而 C 需要在运行前编译。那么,可想而知,如果运行前,需要事先编译,那么其实有一种「上帝视角」的感觉,自然可以做很多优化,让代码运行的更快。而 Cython 的出现就是这个目的,让 Python 也可以被编译,然后执行。 Cython 是一种部分包含和改变 C 语言,以及完全包含 Python 语言的一个语言集合。 Cython 是用 Python 实现的一种语言,可以用来写 Python 扩展,用它写出来的库都可以通过 import 来载入,性能上比 Python 的快。 Cython 里可以载入 Python 扩展(比如 import math),也可以载入 C 的库的头文件(比如:cdef extern from “math.h”),另外也可以用它来写 Python 代码。将关键部分重写成 C 扩展模块。 Cython 中的强大之处在于可以把 Python 和 C 结合起来,它使得看起来像 Python 语言的 Cython 代码有着和 C 相似的运行速度。

    Pandas 通过这种方式保持了自己的运行速度。

    安装

    Pandas 的安装比较简单,使用一句命令,如下:

    pip install Pandas
    

    如果看到如下显示证明安装成功:

    Looking in indexes: https://mirrors.aliyun.com/pypi/simple/
    Collecting Pandas
      Downloading https://mirrors.aliyun.com/pypi/packages/02/d0/1e8e60e61e748338e3a40e42f5dfeee63ccdecfc4f0894122b890bfb009a/pandas-0.25.3-cp37-cp37m-win_amd64.whl (9.2MB)
         |████████████████████████████████| 9.2MB 6.4MB/s
    Requirement already satisfied: pytz>=2017.2 in c:usersinwsyappdatalocalprogramspythonpython37libsite-packages (from Pandas) (2019.2)
    Collecting python-dateutil>=2.6.1
      Downloading https://mirrors.aliyun.com/pypi/packages/d4/70/d60450c3dd48ef87586924207ae8907090de0b306af2bce5d134d78615cb/python_dateutil-2.8.1-py2.py3-none-any.whl (227kB)
         |████████████████████████████████| 235kB 6.4MB/s
    Collecting numpy>=1.13.3
      Downloading https://mirrors.aliyun.com/pypi/packages/a9/38/f6d6d8635d496d6b4ed5d8ca4b9f193d0edc59999c3a63779cbc38aa650f/numpy-1.18.1-cp37-cp37m-win_amd64.whl (12.8MB)
         |████████████████████████████████| 12.8MB 6.4MB/s
    Requirement already satisfied: six>=1.5 in c:usersinwsyappdata
    oamingpythonpython37site-packages (from python-dateutil>=2.6.1->Pandas) (1.12.0)
    Installing collected packages: python-dateutil, numpy, Pandas
    Successfully installed Pandas-0.25.3 numpy-1.18.1 python-dateutil-2.8.1
    

    从安装的日志中可以看到,这里并是不只安装 Pandas ,而是顺带安装了 Numpy 和 Python-Dateutil ,因为这两个库是 Pandas 的依赖库,实际上, Pandas 的依赖库不止这两个,官方推荐的依赖库具体如下:

    Package 最低支持版本
    setuptools 24.2.0
    NumPy 1.13.3
    python-dateutil 2.6.1
    pytz 2017.2

    这里要注意一点,官方强烈建议我们安装这些库,因为这些库可以提高处理速度,尤其是在处理大型数据集时。

    Pandas 还有许多可选的依赖库,仅用于特定的方法。例如,pandas.read_hdf() 需要pytables包。 如果未安装可选依赖项,则在调用需要该依赖项的方法时,pandas将引发ImportError

    依赖名称 最低版本 注意
    BeautifulSoup4 4.6.0 HTML parser for read_html (see note)
    Jinja2 Conditional formatting with DataFrame.style
    PyQt4 Clipboard I/O
    PyQt5 Clipboard I/O
    PyTables 3.4.2 HDF5-based reading / writing
    SQLAlchemy 1.1.4 SQL support for databases other than sqlite
    SciPy 0.19.0 Miscellaneous statistical functions
    XLsxWriter 0.9.8 Excel writing
    blosc Compression for msgpack
    fastparquet 0.2.1 Parquet reading / writing
    gcsfs 0.2.2 Google Cloud Storage access
    html5lib HTML parser for read_html (see note)
    lxml 3.8.0 HTML parser for read_html (see note)
    matplotlib 2.2.2 Visualization
    openpyxl 2.4.8 Reading / writing for xlsx files
    pandas-gbq 0.8.0 Google Big Query access
    psycopg2 PostgreSQL engine for sqlalchemy
    pyarrow 0.9.0 Parquet and feather reading / writing
    pymysql 0.7.11 MySQL engine for sqlalchemy
    pyreadstat SPSS files (.sav) reading
    pytables 3.4.2 HDF5 reading / writing
    qtpy Clipboard I/O
    s3fs 0.0.8 Amazon S3 access
    xarray 0.8.2 pandas-like API for N-dimensional data
    xclip Clipboard I/O on linux
    xlrd 1.1.0 Excel reading
    xlwt 1.2.0 Excel writing
    xsel Clipboard I/O on linux
    zlib Compression for msgpack

    参考

    https://blog.csdn.net/mou_it/article/details/81876879

    https://www.pypandas.cn/docs/installation.html

    https://www.pypandas.cn/docs/getting_started/overview.html

  • 相关阅读:
    结合使用allure当中的方法 让用例执行结果内 显示详细描述信息
    pytest-repeat插件,指定用例重复运行、重复运行次数
    pytest-xdist 分布式执行用例
    token
    使用pytest-ordering 来自定义用例执行顺序
    用例编写规则、命令行执行用例、用例执行的先后顺序
    python 中的doctest单元测试框架
    pytest 对用例mark标记分类(且用例也可按照分类来执行)
    学习webpack基本配置(一)
    (剑指offer)数组中出现次数超过一半的数字
  • 原文地址:https://www.cnblogs.com/babycomeon/p/12262697.html
Copyright © 2020-2023  润新知