• Numpy的ndarry


    Numpy的ndarry:一种多维数组对象

    Numpy最重要的一个特点就是其N维数组对象(即ndarry),该对象是一个快速而灵活的大数据集容器。你可以利用这种数组对整块数据执行一些数学运算,其语法跟标量元素之间的运算一样:

    In [52]: data=np.array([[1,2,3],[4,5,6]])
    
    In [53]: data
    Out[53]:
    array([[1, 2, 3],
           [4, 5, 6]])
    
    In [54]: data*10
    Out[54]:
    array([[10, 20, 30],
           [40, 50, 60]])
    
    In [55]: data+data
    Out[55]:
    array([[ 2,  4,  6],
           [ 8, 10, 12]])

    ndarry是一个通用的同构数据多维容器,也就是说,其中的所有元素必须是相同类型的。每个数组都有一个shape(一个表示维度大小的元组)和一个dtype(一个说明数组数据类型的对象):

    In [56]: data.shape
    Out[56]: (2, 3)
    
    In [57]: data.dtype
    Out[57]: dtype('int32')

    创建ndarry

    创建数组的最简单办法就是使用array函数。它接受一切序列型对象(包括其他数组),然后产生一个新的含有传入数据的Numpy数组。

    In [59]: data1=[6,7.8,8,0,True]
    
    In [60]: arr1=np.array(data1)
    
    In [61]: arr1
    Out[61]: array([6. , 7.8, 8. , 0. , 1. ])

    嵌套序列(比如由一组等长列表组成的列表)将会被转换为一个多维数组:

    In [62]: data2=[[1,2,3,4],[5,6,7,8]]
    
    In [63]: arr2=np.array(data2)
    
    In [64]: arr2
    Out[64]:
    array([[1, 2, 3, 4],
           [5, 6, 7, 8]])
    
    In [65]: arr2.ndim
    Out[65]: 2
    
    In [66]: arr2.shape
    Out[66]: (2, 4)

    除非显示说明,np.array会尝试为新建的这个数组推断出一个较为合适的数据类型。数据类型会保存在一个特殊的dtype对象中。

    In [69]: arr1.dtype
    Out[69]: dtype('float64')
    
    In [70]: arr2.dtype
    Out[70]: dtype('int32')

    除np.array外,还有一些函数也可以新建数组。例如,zeros和ones分别可以创建指定长度或形状的全0或全1数组。empty可以创建一个没有任何具体指的数组。要用这些方法创建多维数组,只需要传入一个表示形状的元组即可:

    In [73]: np.zeros(10)
    Out[73]: array([0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])
    
    In [74]: np.zeros((3,6))
    Out[74]:
    array([[0., 0., 0., 0., 0., 0.],
           [0., 0., 0., 0., 0., 0.],
           [0., 0., 0., 0., 0., 0.]])
    
    In [75]: np.empty((2,3,2))
    Out[75]:
    array([[[6.23042070e-307, 4.67296746e-307],
            [1.69121096e-306, 8.90101523e-307],
            [1.55762979e-307, 1.78022342e-306]],
    
           [[8.06635958e-308, 1.86921415e-306],
            [1.27946330e-307, 1.11262266e-307],
            [1.00133162e-307, 1.22387381e-307]]])

    注意:认为np.empty会返回全0数组的想法是不安全的。很多情况下,它返回的都是一些未初始化的垃圾值。

    arange是python内置韩素华range的数组版:

    In [76]: np.arange(15)
    Out[76]: array([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14])

    数组创建函数:

      array:将输入数据(列表 元组 数组或其他序列类型)转换未ndarry。要么推断出dtype,要么显示指定dtype。默认执行复制输入数据。

      asarry:将输入转换未ndarry,如果输入本身就是一个ndarry就不进行复制。

      arange:类似与内置的range,返回的是一个ndarry而不是列表

      ones丶ones_like:根据指定的形状和dtype创建一个全1数组。ones_like以另外一个数组为参数,并根据其形状和dtype创建一个全1数组。

      zeros丶zeros_like:类似ones丶ones_like,不过产生的是全0数组。

      empty丶empty:创建新数组,只分配内存空间但不填充任何值。

      eyp丶identity:创建一个正方的N x N单位矩阵(对角线为1,其余为0)

    ndarry的数据类型

      dtype是一个特殊的对象,它含有ndarry将一块内存解释为特定数据类型所需的信息:

      它包含的数据类型:int8丶uint8丶int16丶unit16丶int32丶uint32丶int64丶uint64丶float16丶float32丶float64丶float128丶bool等

      可以通过ndarry的astype方法显式地转换其dtype:

      

    In [78]: arr=np.array([1,2,3,4,5])
    
    In [79]: arr.dtype
    Out[79]: dtype('int32')
    
    In [80]: float_arr=arr.astype(np.float64)
    
    In [81]: float_arr.dtype
    Out[81]: dtype('float64')

    数组和标量之间的运算

      数组很重要,因为你使它不用编写循环即可对数组执行批量运算,这通常就叫矢量化。

    In [83]: arr=np.array([[1,2,3],[4,5,6]])
    
    In [84]: arr
    Out[84]:
    array([[1, 2, 3],
           [4, 5, 6]])
    
    In [85]: arr*arr
    Out[85]:
    array([[ 1,  4,  9],
           [16, 25, 36]])
    
    In [86]: arr -arr
    Out[86]:
    array([[0, 0, 0],
           [0, 0, 0]])
    
    In [87]: 1/arr
    Out[87]:
    array([[1.        , 0.5       , 0.33333333],
           [0.25      , 0.2       , 0.16666667]])
    
    In [88]: arr ** 2
    Out[88]:
    array([[ 1,  4,  9],
           [16, 25, 36]], dtype=int32)

     基本的索引和切片

      一维数组选取数据子集或单个元素的方式跟python列表功能差不多:

    In [90]: arr
    Out[90]: array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
    
    In [91]: arr[5]
    Out[91]: 5
    
    In [92]: arr[5:8]
    Out[92]: array([5, 6, 7])
     In [93]: arr[5:8]=12
     In [94]: arr
     Out[94]: array([ 0,  1,  2,  3,  4, 12, 12, 12,  8,  9])

    当in将一个标量值赋值给一个切片时(如arr[5:8]=12),该值会自动传播到整个选区,也就是广播。跟列表最重要的区别在于,数组切片是原始数组的视图。这意味着数据不会被复制,视图上任何修改都会直接反映到源数组上:

    In [94]: arr
    Out[94]: array([ 0,  1,  2,  3,  4, 12, 12, 12,  8,  9])
    
    In [95]: arr_slice=arr[5:8]
    
    In [96]: arr_slice[1]
    Out[96]: 12
    
    In [97]: arr_slice[1]=12345
    
    In [98]: arr
    Out[98]:
    array([    0,     1,     2,     3,     4,    12, 12345,    12,     8,
               9])
    
    In [99]: arr_slice[:]=64
    
    In [100]: arr
    Out[100]: array([ 0,  1,  2,  3,  4, 64, 64, 64,  8,  9])

      由于Numpy的设计目的是处理大数据,可以想象下加入numpy坚持将数据复制来复制去的话会产生什么样的性能和内存问题。如果你想要得到的是ndarry切片的一份副本而非视图,就需要显式的进行复制操作,例如arr[5:8].copy() 。

    在一个二维数组中,各索引位置上的元素不再是标量而是一维数组:

    In [101]: arr2=np.array([[1,2,3],[4,5,6],[7,8,9]])
    
    In [102]: arr2[2]
    Out[102]: array([7, 8, 9])

    因此,可以对多个元素进行递归访问,,也可以传入一个逗号隔开的索引列表来选取单个元素,两种方式是等价的:

    In [109]: arr2[0][2]
    Out[109]: 3
    
    In [110]: arr2[0,2]
    Out[110]: 3

     在多维数组中,如果省略了后面的索引,则返回对象是一个维度低一点的ndarry。

    In [111]: arr3d=np.array([[[1,2,3],[4,5,6]],[[7,8,9],[10,11,12]]])
    
    In [112]: arr3d
    Out[112]:
    array([[[ 1,  2,  3],
            [ 4,  5,  6]],
    
           [[ 7,  8,  9],
            [10, 11, 12]]])

    arr3d是一个2x3的数组

    In [113]: arr3d[0]
    Out[113]:
    array([[1, 2, 3],
           [4, 5, 6]])

    标量值和数组都可以被赋值给arr3d[0]:

    In [114]: old_values=arr3d[0].copy()
    
    In [115]: arr3d[0]=42
    
    In [116]: arr3d
    Out[116]:
    array([[[42, 42, 42],
            [42, 42, 42]],
    
           [[ 7,  8,  9],
            [10, 11, 12]]])
    
    In [117]: arr3d[0]=old_values
    
    In [118]: arr3d
    Out[118]:
    array([[[ 1,  2,  3],
            [ 4,  5,  6]],
    
           [[ 7,  8,  9],
            [10, 11, 12]]])

    以此类推,arr3d[1,0]可以访问索引以(1,0)开头的那些值:

    In [119]: arr3d[1,0]
    Out[119]: array([7, 8, 9])

    注意:上面所有这些选取数组子集的例子中,返回的数组都是视图。

    切片索引

    ndarry的切片语法跟python列表这样的一维对象差不多:

    In [120]: arr[1:6]
    Out[120]: array([ 1,  2,  3,  4, 64])

    高维度对象的花样更多,你可以子啊一个或多个轴上进行切片,也可以跟整数索引混合使用。

    In [122]: arr2d=np.array([[1,2,3],[4,5,6],[7,8,9]])
    
    In [123]: arr2d
    Out[123]:
    array([[1, 2, 3],
           [4, 5, 6],
           [7, 8, 9]])
    
    In [124]: arr2d[:2]
    Out[124]:
    array([[1, 2, 3],
           [4, 5, 6]])

    可以看出,它是沿着第0轴切片的。也就是说切片是沿着一个轴向选取元素的。你可以一次传入多个切片,就像传入多个索引那样:

    In [125]: arr2d[:2,1:]
    Out[125]:
    array([[2, 3],
           [5, 6]])

    像这样进行切片时,只能得到相同维度的数组视图。通过将整数索引和切片混合,可以得到低维度的切片:

    In [127]: arr2d[1,:2]
    Out[127]: array([4, 5])
    
    In [128]: arr2d[2,:1]
    Out[128]: array([7])

    注意:只有冒号表示选取整个轴:、

    In [129]: arr2d[:,:1]
    Out[129]:
    array([[1],
           [4],
           [7]])

    自然,对切片表达式的赋值操作也会被扩散到整个选区:

    In [130]: arr2d[:2,1:]
    Out[130]:
    array([[2, 3],
           [5, 6]])
    
    In [131]: arr2d[:2,1:]=0
    
    In [132]: arr2d
    Out[132]:
    array([[1, 0, 0],
           [4, 0, 0],
           [7, 8, 9]])

    布尔型索引

    假设我们有一个用于存储数据的数组以及一个存储姓名的数组(含有重复项)。在这里,我们将使用numpy.random中的randn函数生成一些正态分布的随机数据:

    In [133]: names=np.array(['Bob','Joe','Will','Bob','Will','Joe','Joe'])
    
    In [134]: data=randn(7,4)
    
    In [135]: names
    Out[135]: array(['Bob', 'Joe', 'Will', 'Bob', 'Will', 'Joe', 'Joe'], dtype='<U4')
    
    In [136]: data
    Out[136]:
    array([[ 1.49700553, -0.81010655,  1.38541267,  0.77762598],
           [-1.04760513, -0.25802261, -0.07125992, -0.03431114],
           [-0.49107174, -1.33574227,  0.10408644, -0.46662551],
           [ 0.71487411,  1.18651842, -0.34714216,  0.46087672],
           [ 0.2254356 ,  0.76541494,  0.12525111, -0.92919057],
           [-1.20091987,  0.37064336, -0.77465353,  0.43543748],
           [ 2.63967324, -0.7687978 ,  0.78363981,  0.02063025]])

    假设每个名字对应data数组的一行,而我们想选粗话对应与名字'Bob'的所有行。跟算术运算一样,数组的比较运算(如==)也是矢量化的。因此,对names和字符串‘Bob’的比较运算将会产生一个布尔型数组:

    n [137]: names=='Bob'
    Out[137]: array([ True, False, False,  True, False, False, False])

    这个布尔型数组可用于数组索引:

    In [139]: data[names=='Bob']
    Out[139]:
    array([[ 1.49700553, -0.81010655,  1.38541267,  0.77762598],
           [ 0.71487411,  1.18651842, -0.34714216,  0.46087672]])

    布尔型数组的长度必须跟被索引的轴长度一样。因此,还可以将布尔型数组跟切片丶整数混合使用:

    In [140]: data[names=='Bob',2:]
    Out[140]:
    array([[ 1.38541267,  0.77762598],
           [-0.34714216,  0.46087672]])

    In [141]: data[names=='Bob',3]
    Out[141]: array([0.77762598, 0.46087672])

    要选择除"Bob"以外的其他值,既可以使用不等于符号(!=),也可以通过符号(-)对条件进行否定:

    In [141]: data[names=='Bob',3]
    Out[141]: array([0.77762598, 0.46087672])

    In [151]: data[~(names == 'Bob')]
    Out[151]:
    array([[-1.04760513, -0.25802261, -0.07125992, -0.03431114],
           [-0.49107174, -1.33574227,  0.10408644, -0.46662551],
           [ 0.2254356 ,  0.76541494,  0.12525111, -0.92919057],
           [-1.20091987,  0.37064336, -0.77465353,  0.43543748],
           [ 2.63967324, -0.7687978 ,  0.78363981,  0.02063025]])

    这里试了下使用符号(-)会报错TypeError: The numpy boolean negative, the `-` operator, is not supported, use the `~` operator or the logical_not function instead.提示,需要使用~符号表示取反

    选取这3个名字中的2个需要组合应用多个布尔条件,使用&(和)丶|(或)之类的布尔算术运算符即可:

    In [152]: mask=(names=='Bob') |(names=='Will')
    
    In [153]: mask
    Out[153]: array([ True, False,  True,  True,  True, False, False])

    In [154]: data[mask]
    Out[154]:
    array([[ 1.49700553, -0.81010655,  1.38541267,  0.77762598],
           [-0.49107174, -1.33574227,  0.10408644, -0.46662551],
           [ 0.71487411,  1.18651842, -0.34714216,  0.46087672],
           [ 0.2254356 ,  0.76541494,  0.12525111, -0.92919057]])

    通过布尔型索引选取数组中的数据,将总是创建数据的副本,即使返回一模一样的数组,也是如此。

    通过布尔型数组设置值是一种经常使用的手段。为了将data中所有的负值设置为0:

    In [155]: data[data<0]=0
    
    In [156]: data
    Out[156]:
    array([[1.49700553, 0.        , 1.38541267, 0.77762598],
           [0.        , 0.        , 0.        , 0.        ],
           [0.        , 0.        , 0.10408644, 0.        ],
           [0.71487411, 1.18651842, 0.        , 0.46087672],
           [0.2254356 , 0.76541494, 0.12525111, 0.        ],
           [0.        , 0.37064336, 0.        , 0.43543748],
           [2.63967324, 0.        , 0.78363981, 0.02063025]])

    通过一维布尔数组设置整行或列的值也很简单:

    In [157]: data[names!='Joe']=7
    
    In [158]: data
    Out[158]:
    array([[7.        , 7.        , 7.        , 7.        ],
           [0.        , 0.        , 0.        , 0.        ],
           [7.        , 7.        , 7.        , 7.        ],
           [7.        , 7.        , 7.        , 7.        ],
           [7.        , 7.        , 7.        , 7.        ],
           [0.        , 0.37064336, 0.        , 0.43543748],
           [2.63967324, 0.        , 0.78363981, 0.02063025]])

     花式索引

    花式索引是一个Numpy术语,它指的的是利用整数数组进行索引。假设我们有个8*4的数组:

    In [162]: arr=np.empty((8,4))
    
    In [163]: for i in range(8):
         ...:     arr[i]=i
         ...:
    
    In [164]: arr
    Out[164]:
    array([[0., 0., 0., 0.],
           [1., 1., 1., 1.],
           [2., 2., 2., 2.],
           [3., 3., 3., 3.],
           [4., 4., 4., 4.],
           [5., 5., 5., 5.],
           [6., 6., 6., 6.],
           [7., 7., 7., 7.]])

    为了以特定顺序选取子集,只需传入一个用于指定顺序的整数列表或ndarry即可:

    In [165]: arr[[4,3,0,6]]
    Out[165]:
    array([[4., 4., 4., 4.],
           [3., 3., 3., 3.],
           [0., 0., 0., 0.],
           [6., 6., 6., 6.]])

    这段代码确实达到了我们的要求!使用负数索引将会从末尾开始选取行:

    In [167]: arr[[-3,-5,-7]]
    Out[167]:
    array([[5., 5., 5., 5.],
           [3., 3., 3., 3.],
           [1., 1., 1., 1.]])

    一次传入多个索引数组会有一点特别。它返回的是一个一维数组,其中的元素对应哥哥索引元组:

    In [169]: arr=np.arange(32).reshape((8,4))
    
    In [170]: arr
    Out[170]:
    array([[ 0,  1,  2,  3],
           [ 4,  5,  6,  7],
           [ 8,  9, 10, 11],
           [12, 13, 14, 15],
           [16, 17, 18, 19],
           [20, 21, 22, 23],
           [24, 25, 26, 27],
           [28, 29, 30, 31]])
    
    In [171]: arr[[1,5,7,2],[0,3,1,2]]
    Out[171]: array([ 4, 23, 29, 10])

    代码中最终选取的䛾(1,0),(5,3),(7,1)和(2,2)。这些花式索引的行为可能跟某些用户的预期不一样,选取矩阵的行列子集应该是矩形区域的形式才对,于是:

    In [173]: arr[[1,5,7,2]][:,[0,3,1,2]]
    Out[173]:
    array([[ 4,  7,  5,  6],
           [20, 23, 21, 22],
           [28, 31, 29, 30],
           [ 8, 11,  9, 10]])

    花式索引跟切片不一样,它总是将数据复制到新数组中。

    数组转置和轴对换

    转置是重塑的一种特殊方式,它返回的是源数据的视图(不会进行任何复制操作)。数组不仅有transpose方法还有一个特殊的T属性:

    In [174]: arr=np.arange(15).reshape(3,5)
    
    In [175]: arr
    Out[175]:
    array([[ 0,  1,  2,  3,  4],
           [ 5,  6,  7,  8,  9],
           [10, 11, 12, 13, 14]])
    
    In [176]: arr.T
    Out[176]:
    array([[ 0,  5, 10],
           [ 1,  6, 11],
           [ 2,  7, 12],
           [ 3,  8, 13],
           [ 4,  9, 14]])

    在进行矩阵计算时,经常需要用到该操作,比如利用np.dot计算矩阵的内积:

    In [178]: arr=np.random.randn(6,3)
    
    In [179]: np.dot(arr.T,arr)
    Out[179]:
    array([[ 4.10149347,  0.88541771, -0.47377443],
           [ 0.88541771,  5.33214026, -1.6787001 ],
           [-0.47377443, -1.6787001 ,  6.31781659]])

    对于高维度数组,transpose需要得到一个由编号组成的元组才能对这些轴进行转置:

    In [180]: arr=np.arange(16).reshape((2,2,4))
    
    In [181]: arr
    Out[181]:
    array([[[ 0,  1,  2,  3],
            [ 4,  5,  6,  7]],
    
           [[ 8,  9, 10, 11],
            [12, 13, 14, 15]]])
    
    In [182]: arr.transpose((1,0,2))
    Out[182]:
    array([[[ 0,  1,  2,  3],
            [ 8,  9, 10, 11]],
    
           [[ 4,  5,  6,  7],
            [12, 13, 14, 15]]])

    简单的转置可以使用.T,它其实就是进行轴对换而已。ndarry还有一个swapaxes方法,它需要接受一对轴编号:

    In [183]: arr
    Out[183]:
    array([[[ 0,  1,  2,  3],
            [ 4,  5,  6,  7]],
    
           [[ 8,  9, 10, 11],
            [12, 13, 14, 15]]])
    
    In [184]: arr.swapaxes(1,2)
    Out[184]:
    array([[[ 0,  4],
            [ 1,  5],
            [ 2,  6],
            [ 3,  7]],
    
           [[ 8, 12],
            [ 9, 13],
            [10, 14],
            [11, 15]]])

    swapaxes也是返回源数据的视图(不会进行任何复制操作)。

  • 相关阅读:
    Android深度探索与HAL驱动开发(卷1)-- 第六章随笔
    Android深度探索与HAL驱动开发(卷1)-- 第五章随笔
    Android深度探索与HAL驱动开发(卷1)-- 第四章随笔
    Android深度探索与HAL驱动开发(卷1)-- 第三章随笔
    Android深度探索与HAL驱动开发(卷1)-- 第二章随笔
    Android深度探索与HAL驱动开发(卷1)-- 第一章随笔
    读《Android深度探索(卷1)HAL与驱动开发》的一些思考10
    读《Android深度探索(卷1)HAL与驱动开发》的一些思考09
    读《Android深度探索(卷1)HAL与驱动开发》的一些思考08
    读《Android深度探索(卷1)HAL与驱动开发》的一些思考07
  • 原文地址:https://www.cnblogs.com/catxjd/p/9787273.html
Copyright © 2020-2023  润新知