numpy使用数组进行数据处理
meshgrid函数
理解:
二维坐标系中,X轴可以取三个值1,2,3, Y轴可以取三个值7,8, 请问可以获得多少个点的坐标?
显而易见是6个:
(1,7)(2,7)(3,7)
(1,8)(2,8)(3,8)
>>> import numpy as np#导入numpy
>>> a=np.array([1,2,3])#创建一维数组
>>> b=np.array([7,8])
>>> res=np.meshgrid(a,b)#获取所有点的横坐标和纵坐标
>>> res#返回list,有两个元素,第一个元素是X轴的取值,第二个元素是Y轴的取值
[array([[1, 2, 3],
[1, 2, 3]]), array([[7, 7, 7],
[8, 8, 8]])]
生成坐标绘制图像:
>>> import numpy as np
>>> points=np.arange(-5,5,0.01)#从-5到5步长为0.01
>>> xs,ys=np.meshgrid(points,points)
>>> ys
array([[-5. , -5. , -5. , ..., -5. , -5. , -5. ],
[-4.99, -4.99, -4.99, ..., -4.99, -4.99, -4.99],
[-4.98, -4.98, -4.98, ..., -4.98, -4.98, -4.98],
...,
[ 4.97, 4.97, 4.97, ..., 4.97, 4.97, 4.97],
[ 4.98, 4.98, 4.98, ..., 4.98, 4.98, 4.98],
[ 4.99, 4.99, 4.99, ..., 4.99, 4.99, 4.99]])
>>> z=np.sqrt(xs**2+ys**2)#函数的求值运算
>>> z
array([[7.07106781, 7.06400028, 7.05693985, ..., 7.04988652, 7.05693985,
7.06400028],
[7.06400028, 7.05692568, 7.04985815, ..., 7.04279774, 7.04985815,
7.05692568],
[7.05693985, 7.04985815, 7.04278354, ..., 7.03571603, 7.04278354,
7.04985815],
...,
[7.04988652, 7.04279774, 7.03571603, ..., 7.0286414 , 7.03571603,
7.04279774],
[7.05693985, 7.04985815, 7.04278354, ..., 7.03571603, 7.04278354,
7.04985815],
[7.06400028, 7.05692568, 7.04985815, ..., 7.04279774, 7.04985815,
7.05692568]])
>>> import matplotlib.pyplot as plt
>>> plt.imshow(z, cmap=plt.cm.gray); plt.colorbar()
<matplotlib.image.AxesImage object at 0x00000000087D6EB8>
<matplotlib.colorbar.Colorbar object at 0x000000000D8F4FD0>
>>> plt.title("Image plot of $sqrt{x^2 + y^2}$ for a grid of values")
Text(0.5, 1.0, 'Image plot of $\sqrt{x^2 + y^2}$ for a grid of values')
>>>plt.show()
将条件逻辑表述为数组运算
根据cond中的值来对数组进行选取，如果cond中的值为True，那么就选择x中对应的值，否则就选择y中对应的值，比如cond[0]=True,那么result[0]处应当放置yarr[0]的值
>>> xarr=np.array([1.1,1.2,1.3,1.4,1.5])
>>> yarr=np.array([2.1,2.2,2.3,2.4,2.5])
>>> cond=np.array([True,False,True,True,False])
>>> result=[(x if c else y) for x,y,c in zip(xarr,yarr,cond)]
>>> result
[1.1, 2.2, 1.3, 1.4, 2.5]
where方法
使用矢量
where方法可以取代上面的写法
>>> result=np.where(cond,xarr,yarr)
>>> result
array([1.1, 2.2, 1.3, 1.4, 2.5])
使用标量
np.where的第二个和第三个参数不必是数组，它们都可以是标量值。在数据分析工作中，where通常用于根据另一个数组而产生一个新的数组。假设有一个由随机数据组成的矩阵，你希望将所有正值替换为2，将所有负值替换为－2。若利用np.where，则会非常简单：
>>> arr=np.random.randn(4,4)
>>> arr
array([[-0.02461196, -0.11867552, 0.49004256, -0.25236766],
[ 1.66484493, -0.41180743, -0.34837293, -2.61422661],
[ 0.51476568, -0.41451909, 1.28553372, 0.13866799],
[-0.94795594, -1.49302099, 1.18480636, 0.20310613]])
>>> arr>0
array([[False, False, True, False],
[ True, False, False, False],
[ True, False, True, True],
[False, False, True, True]])
>>> np.where(arr>0,2,-2)
array([[-2, -2, 2, -2],
[ 2, -2, -2, -2],
[ 2, -2, 2, 2],
[-2, -2, 2, 2]])
标量矢量结合
如果对应位置是True,那么新的数组对应位置为2，否则就还是原来的数值
>>> np.where(arr>0,2,arr)
array([[-0.02461196, -0.11867552, 2. , -0.25236766],
[ 2. , -0.41180743, -0.34837293, -2.61422661],
[ 2. , -0.41451909, 2. , 2. ],
[-0.94795594, -1.49302099, 2. , 2. ]])
数学统计方法
mean函数
对所有的元素求均值
>>> import numpy as np
>>> arr=np.array([[1,2,3],[4,5,6],[7,8,9]])
>>> arr.mean()
5.0
>>> np.mean(arr)
5.0
sum函数
对所有元素求和
>>> arr.sum()
45
可选轴求值
>>> arr.mean(axis=1)#列求平均值
array([2., 5., 8.])
>>> arr.mean(axis=0)#行求平均值
array([4., 5., 6.])
>>> arr.sum(axis=0)
array([12, 15, 18])#行求和
>>> arr.sum(axis=1)
array([ 6, 15, 24])#列求和
cumsum函数
1.对于一维输入a（可以是list，可以是array，假设a=[1, 2, 3, 4, 5, 6, 7] ，就是当前列之前的和加到当前列上，如下：
>>>import numpy as np
>>> a=[1,2,3,4,5,6,7]
>>> np.cumsum(a)
array([ 1, 3, 6, 10, 15, 21, 28, 36, 45, 55, 75, 105])
2.对于二维输入a，axis=0(第1行不动，将第1行累加到其他行)；axis=1(进入最内层，转化成列处理。第1列不动，将第1列累加到其他列)，如下：
>>>import numpy as np
>>> c=[[1,2,3],[4,5,6],[7,8,9]]
>>> np.cumsum(c,axis=0)
array([[ 1, 2, 3],
[ 5, 7, 9],
[12, 15, 18]])
>>> np.cumsum(c,axis=1)
array([[ 1, 3, 6],
[ 4, 9, 15],
[ 7, 15, 24]])
cumprod函数
累乘方法同理
>>> arr.cumprod(axis=1)
array([[ 1, 2, 6],
[ 4, 20, 120],
[ 7, 56, 504]], dtype=int32)
布尔数组的方法
sum方法
>>> import numpy as np
>>> arr=np.random.randn(100)
>>> arr>0
array([ True, True, False, True, True, True, True, True, True,
False, True, False, False, True, True, True, False, True,
True, False, False, True, True, True, False, False, True,
True, False, True, True, True, False, False, True, False,
True, False, False, True, False, False, True, False, False,
True, False, True, True, False, True, True, True, False,
False, False, False, True, True, True, True, False, True,
False, False, True, False, False, True, True, True, False,
True, False, False, False, True, False, True, True, True,
True, False, False, False, False, False, False, False, True,
False, False, True, False, False, False, True, False, True,
False])
>>> (arr>0).sum()
51
>>>
any方法
any用于测试数组中是否存在一个或多个True
>>> bools=np.array([False,False,True,True])
>>> bools.any()
True
all方法
all则检查数组中所有值是否都是True
>>> bools.all()
False
排序
一维数组
>>> arr=np.random.randn(6)
>>> arr
array([-1.55689999, 0.59917555, 0.09981181, -0.74146468, 0.48666154,
-1.06564002])
>>> arr.sort()
>>> arr
array([-1.55689999, -1.06564002, -0.74146468, 0.09981181, 0.48666154,
0.59917555])
>>>
多维数组
多维数组可以在任何一个轴向上进行排序，只需将轴编号传给sort即可：
>>> arr=np.random.randn(5,3)
>>> arr
array([[ 0.26943933, 1.2985981 , 0.24338663],
[ 0.22550084, -0.03952026, 0.32522357],
[-1.96626749, -0.14959244, 1.19403458],
[-0.14429635, 1.42566274, -1.13627841],
[ 1.00049286, -0.44634922, -0.59281931]])
>>> arr.sort(1)
>>> arr
array([[ 0.24338663, 0.26943933, 1.2985981 ],
[-0.03952026, 0.22550084, 0.32522357],
[-1.96626749, -0.14959244, 1.19403458],
[-1.13627841, -0.14429635, 1.42566274],
[-0.59281931, -0.44634922, 1.00049286]])
>>> arr.sort(0)
>>> arr
array([[-1.96626749, -0.44634922, 0.32522357],
[-1.13627841, -0.14959244, 1.00049286],
[-0.59281931, -0.14429635, 1.19403458],
[-0.03952026, 0.22550084, 1.2985981 ],
[ 0.24338663, 0.26943933, 1.42566274]])
顶级方法np.sort返回的是数组的已排序副本，而就地排序则会修改数组本身。
唯一化以及其它的集合逻辑
unique方法
去重加上排序
>>> names=np.array(['Bob', 'Joe', 'Will', 'Bob', 'Will', 'Joe', 'Joe'])
>>> np.unique(names)
array(['Bob', 'Joe', 'Will'], dtype='<U4')
>>> values=np.array([6, 0, 0, 3, 2, 5, 6])
>>> np.unique(values)
array([0, 2, 3, 5, 6])
in1d方法
测试一个数组中的值在另一个数组中的成员资格，返回一个布尔型数组
>>> values = np.array([6, 0, 0, 3, 2, 5, 6])
>>> np.in1d(values,[2,3,6])
array([ True, False, False, True, True, False, True])
6在2，3，6中，0没在2，3，6中，依次类推
数组集合运算
