• pandas初学习


    简介

    Pandas [1] 是python的一个数据分析包,最初由AQR Capital Management于2008年4月开发,并于2009年底开源出来,目前由专注于Python数据包开发的PyData开发team继续开发和维护,属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来,因此,pandas为时间序列分析提供了很好的支持。 Pandas的名称来自于面板数据(panel data)和python数据分析(data analysis)。panel data是经济学中关于多维数据集的一个术语,在Pandas中也提供了panel的数据类型。

    数据结构

    • Series:一维数组,与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近,其区别是:List中的元素可以是不同的数据类型,而Array和Series中则只允许存储相同的数据类型,这样可以更有效的使用内存,提高运算效率。
    • Time- Series:以时间为索引的Series。
    • DataFrame:二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。以下的内容主要以DataFrame为主。
    • Panel :三维的数组,可以理解为DataFrame的容器。

    终端输入

    Jupyter Notebook

    导入相关模块

    import numpy as np
    import pandas as pd 
    from pandas import Series, DataFrame

    Series

    Series是一种类似于一维数组的对象,它由一组数据(各种NumPy数据类型)以及一组与之相关的数据标签(即索引)组成。

    2018-04-12 18-13-41屏幕截图.png

    实质上是创建了一个 Series 对象,这也就说明了为什么会有index和values.
    2018-04-12 18-15-00屏幕截图.png

    Series自定义索引
    2018-04-12 18-21-57屏幕截图.png

    Series自定义索引的另一种方法
    2018-04-12 18-29-25屏幕截图.png

    在这里就引入另一个概念“自动对齐”。自定义的索引会自动去寻找原来的索引,如果一样的,就取出原来索引对应的值。
    2018-04-12 18-36-22屏幕截图.png
    在 Pandas 中,如果没有值,都对齐赋给 NaN。

    当然上面的代码也可以写成这样
    2018-04-12 19-16-32屏幕截图.png

    Series判断值是否为空
    2018-04-12 19-22-12屏幕截图.png

    DataFrame

    一个Datarame表示一个表格,类似电子表格的数据结构,包含一个经过排序的列表集,它们没一个都可以有不同的类型值(数字,字符串,布尔等等)。Datarame有行和列的索引;它可以被看作是一个Series的字典(每个Series共享一个索引)。

    构建DataFrame最常用的方法——直接传入一个由等长列表或NumPy数组组成的字典
    2018-04-12 20-29-28屏幕截图.png

    如果指定了列序列,则DataFrame的列就会按照指定的顺序进行排列
    2018-04-12 20-37-14屏幕截图.png

    如果传入的列在数据中找不到,就会产生NAN值
    2018-04-12 20-40-57屏幕截图.png

    通过行、列进行获取

    • 通过类似字典标记的方式或属性的方式,可以将DataFream的列获取为一个Series:
    • 同理行也可以通过位置或名称的方式进行获取

    2018-04-12 20-52-41屏幕截图.png

    基本功能


    重新索引

    Series的reindex将会根据新索引进行,如果某个索引值当前不存在,就引入缺失值
    2018-04-12 21-48-18屏幕截图.png

    • reindex的method选项

      • ffill或pad 向前填充值
      • bfill或backfill 向后填充值

    对于DataFrame,reindex可以修改行、列或者两个都可以修改。如果仅传入一个序列,则会重新索引行
    2018-04-12 21-56-53屏幕截图.png

    • reindex函数的参数
    参数说明
    index 用作索引的新序列。既可以是index实例,也可以是其他序列型python数据结构
    method 插值方式
    fill_value 在重新索引过程中,需要引入缺失值时使用的代替值
    limit 前向或后向填充时的最大填充量
    level 在Multilndex的指定级别上匹配简单索引,否则选取其子集
    copy 默认为true,无论如何都复制;如果为false,则新旧相等就不复制

    索引、选取和过滤

    类型说明
    obj[val] 选取DataFrame的单个列或一组列。在一些特殊的情况下会比较便利:布尔型数组(过滤行)
    obj.ix[val] 选取DataFrame的单个行或一组行
    obj.ix[:,val] 选取单个列或列子集
    obj.ix[val1,val2] 同时选取行和列
    reindex方法 将一个或多个轴匹配到新索引
    xs方法 根据标签选取单行或单列,并返回一个Series
    icol、irow方法 根据整数位置选取单行或单列,并返回一个Series
    get_value、set_value方法 根据行标签或列标签选取单个值
  • 相关阅读:
    海康、大华摄像头RTSP接入实现WEB端无插件流媒体服务EasyNVR实现海康大华宇视摄像头内容网页播放的方法
    【 D3.js 高级系列 — 6.0 】 值域和颜色
    物联网操作系统HelloX V1.78测试版正式发布
    【 D3.js 高级系列 — 5.1 】 颜色插值和线性渐变
    清华尹成老师主办的智锋互联
    【 随笔 】 D3 难吗?
    禅道,然之和蝉知入驻VM Depot
    【 D3.js 高级系列 — 5.0 】 颜色
    尹成老师主办培训教学机构 智锋互联 传播智慧我们用心,人生冲锋你们用心
    体验Azure的 Automation “自动化” 服务预览版
  • 原文地址:https://www.cnblogs.com/wt714/p/12349647.html
Copyright © 2020-2023  润新知