Numpy学习笔记（下篇）
路漫漫其修远兮，吾将上下而求索！Numpy学习笔记（上篇）
一、Numpy数组的合并与分割操作
在机器学习算法的使用中会经常使用这两种操作。
1、合并操作
import numpy as np
x = np.array([1, 2, 3])
y = np.array([3, 2, 1])
z = np.array([666, 666, 666])
- np.concatenate([,], axis=) 默认axis=0,拼接之后返回的是一个新的数组。不改变原有数组。
np.concatenate([x, y])
运行输出结果：array([1, 2, 3, 3, 2, 1])
np.concatenate([x, y, z])
运行输出结果：array([ 1, 2, 3, 3, 2, 1, 666, 666, 666])
上面是对一维数组的拼接，接下来看看二维的。
A = np.array([[1, 2, 3],
[4, 5, 6]]) # A.shape=(2,3),从第一个维度上拼接就是（4,3）
np.concatenate([A, A])
运行输出结果：
array([[1, 2, 3],
[4, 5, 6],
[1, 2, 3],
[4, 5, 6]])
np.concatenate([A, A], axis=1) # 从第二个维度上拼接就是（2，6）
运行输出结果：
array([[1, 2, 3, 1, 2, 3],
[4, 5, 6, 4, 5, 6]])
那么，能不能把A和z拼接到一起呢？显然是不能的，因为z是1维数组，而A是2维数组，运行会报错。z.shape=(3,),此时我们就可以使用reshape操作将其先装换为2维数组，然后再进行拼接。
np.concatenate([A, z.reshape(1, -1)])
运行输出结果：
array([[ 1, 2, 3],
[ 4, 5, 6],
[666, 666, 666]])
其实，在numpy中已经封装好了一个函数用来解决不同维度之间的合并问题。
- np.vstack()
np.vstack([A, z])
运行输出结果：
array([[ 1, 2, 3],
[ 4, 5, 6],
[666, 666, 666]])
- np.hstack()
B = np.full((2, 2), 100)
np.hstack([A, B])
array([[ 1, 2, 3, 100, 100],
[ 4, 5, 6, 100, 100]])
2、分割操作
-
np.split(x, [,], axis=)
第一个参数是分割对象，第二个参数是分割点，且分割点可以不唯一。axis默认是0
x = np.arange(10)
x
运行输出结果：array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
np.split(x, [3, 7])
运行输出结果：[array([0, 1, 2]), array([3, 4, 5, 6]), array([7, 8, 9])]
同样的，接下来试一下二维数组。
A = np.arange(16).reshape(4, 4)
A
运行输出结果：
array([[ 0, 1, 2, 3],
[ 4, 5, 6, 7],
[ 8, 9, 10, 11],
[12, 13, 14, 15]])
np.split(A, [3])
运行输出结果：
[array([[ 0, 1, 2, 3],
[ 4, 5, 6, 7],
[ 8, 9, 10, 11]]), array([[12, 13, 14, 15]])]
np.split(A, [3], axis=1)
运行输出结果：
[array([[ 0, 1, 2],
[ 4, 5, 6],
[ 8, 9, 10],
[12, 13, 14]]), array([[ 3],
[ 7],
[11],
[15]])]
其实，在numpy中既然有垂直水平拼接，那就有垂直水平分割。
- np.vsplit()
np.vsplit(A, [3])
运行输出结果：
[array([[ 0, 1, 2, 3],
[ 4, 5, 6, 7],
[ 8, 9, 10, 11]]), array([[12, 13, 14, 15]])]
np.hsplit(A, [3])
运行输出结果：
[array([[ 0, 1, 2],
[ 4, 5, 6],
[ 8, 9, 10],
[12, 13, 14]]), array([[ 3],
[ 7],
[11],
[15]])]
通过以上对比可以发现：其实vsplit就是split的axis=0的时候，而hsplit就是split的axis=1的时候！
那么接下来做一个简答的小练习，现在有下面一组数据，前三列为数据，最后一列为样本标签，此时我们需要将其分割开来，同时把标签（最后一列）转换为向量：
array([[ 0, 1, 2, 3],
[ 4, 5, 6, 7],
[ 8, 9, 10, 11],
[12, 13, 14, 15]])
data = np.arange(16).reshape(4, 4)
x, y = np.hsplit(data, [-1])
运行输出结果：
array([[ 0, 1, 2],
[ 4, 5, 6],
[ 8, 9, 10],
[12, 13, 14]])
array([[ 3],
[ 7],
[11],
[15]])
接下来需要把array转换为向量。
y[:, 0]
运行输出结果：array([ 3, 7, 11, 15])
二、Numpy中的矩阵运算
现在有这么一个问题：给定一个向量，让向量中的每一个元素乘以2，a=（0,1,2），a*2=（0,2,4）
L = [i for i in range(10)]
L * 2
运行输出结果：[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
显然这不是我们想要的结果。那么想要实现怎么办呢？
A = []
for i in L:
A.append(i * 2)
A
运行输出结果：[0, 2, 4, 6, 8, 10, 12, 14, 16, 18]
这肯定不是最优的办法，下面就来对比几种实现方式的快慢。
%%time
L = [i for i in range(100000)]
A = []
for i in L:
A.append(i * 2)
A
运行输出结果：Wall time: 14.6 ms
%%time
L = [i*2 for i in range(100000)]
运行输出结果：Wall time: 6.83 ms
%%time
import numpy as np
A = np.array(i*2 for i in range(100000000000000))
A
%%time
L = np.arange(10)
L * 2
L
运行输出结果：Wall time: 0 ns
为什么是0呢？其实因为A返回的是一个生成器，无论后面有多大的的数都是一样的。这就是numpy在大数据运算中的优势所在。关于生成器。
import numpy as np
L = np.arange(10)
L * 2
运行输出结果：array([ 0, 2, 4, 6, 8, 10, 12, 14, 16, 18])
1、Universal Function
X = np.arange(1, 16).reshape(3, 5)
X
运行输出结果：
array([[ 1, 2, 3, 4, 5],
[ 6, 7, 8, 9, 10],
[11, 12, 13, 14, 15]])
- 加法
X + 1
运行输出结果：
array([[ 2, 3, 4, 5, 6],
[ 7, 8, 9, 10, 11],
[12, 13, 14, 15, 16]])
- 减法
array([[ 0, 1, 2, 3, 4],
[ 5, 6, 7, 8, 9],
[10, 11, 12, 13, 14]])
- 乘法
X * 2
运行输出结果：
array([[ 2, 4, 6, 8, 10],
[12, 14, 16, 18, 20],
[22, 24, 26, 28, 30]])
- 除法
X / 2
运行输出结果：
array([[0.5, 1. , 1.5, 2. , 2.5],
[3. , 3.5, 4. , 4.5, 5. ],
[5.5, 6. , 6.5, 7. , 7.5]])
X // 2
运行输出结果：
array([[0, 1, 1, 2, 2],
[3, 3, 4, 4, 5],
[5, 6, 6, 7, 7]], dtype=int32)
- 取余
X % 2
运行输出结果：
array([[1, 0, 1, 0, 1],
[0, 1, 0, 1, 0],
[1, 0, 1, 0, 1]], dtype=int32)
- 倒数——1/X
- 绝对值——np.abs()
- 正弦函数——np.sin()
- 余弦函数——np.cos()
- 正切函数——np.tan()
- 同样还有反正弦、反余弦、反正切等等。
- 指数函数——np.exp()
- np.power()
- np.log()
- np.log2()
- np.log10()
2、矩阵运算
A = np.arange(4).reshape(2, 2)
B = np.full((2, 2), 10)
-
A+B
-
A-B
-
A*B
-
A/B
以上方法都是对应元素进行相应操作，那么如果需要进行矩阵乘法怎么办？
-
矩阵乘法——np.dot()
A.dot(B)
运行输出结果：
array([[10, 10],
[50, 50]])
- 矩阵转置
A.T
运行输出结果：
array([[0, 2],
[1, 3]])
- 矩阵的逆——np.linalg.inv()
np.linalg.inv(A)
运行输出结果：
array([[-1.5, 0.5],
[ 1. , 0. ]])
np.linalg.inv(A).dot(A)
运行输出结果：
array([[1., 0.],
[0., 1.]])
这也验证了A*A[^-1]=E
-
矩阵的伪逆——np.linalg.pinv()
很多情况下，我们的矩阵可能不是一个方阵，那么此时正常情况下我们是无法求得矩阵的逆的。但是可以求得伪逆矩阵。
C = np.arange(0, 16).reshape(2, 8)
C = np.arange(0, 16).reshape(2, 8)
运行输出结果：
array([[-1.35416667e-01, 5.20833333e-02],
[-1.01190476e-01, 4.16666667e-02],
[-6.69642857e-02, 3.12500000e-02],
[-3.27380952e-02, 2.08333333e-02],
[ 1.48809524e-03, 1.04166667e-02],
[ 3.57142857e-02, -1.04083409e-17],
[ 6.99404762e-02, -1.04166667e-02],
[ 1.04166667e-01, -2.08333333e-02]])
C.dot(np.linalg.pinv(C))
运行输出结果：
array([[ 1.00000000e+00, -2.49800181e-16],
[ 0.00000000e+00, 1.00000000e+00]])
通过上述结果可以发现，近似单位矩阵说明求得是伪逆矩阵，近似得到的。具体伪逆矩阵的详细求解自行百度！
3、向量和矩阵运算
A = np.arange(4).reshape(2, 2)
v = np.array([1, 2])
- v+A
v + A
运行输出结果：
array([[1, 3],
[3, 5]])
np.vstack([v] * A.shape[0])
运行输出结果：
array([[1, 2],
[1, 2]])
np.vstack([v] * A.shape[0]) + A
运行输出结果：
array([[1, 3],
[3, 5]])
此时，可以发现两者得到的结果是相同的。其实在pyhon中已经封装了堆叠的函数
- np.tile()
np.tile(v, (2, 1))
运行输出结果：
array([[1, 2],
[1, 2]])
np.tile(v, (2, 1)) + A
运行输出结果：
array([[1, 3],
[3, 5]])
- v *A
v * A
运行输出结果：
array([[0, 2],
[2, 6]])
- A.dot(v)
A.dot(v)
运行输出结果：array([2, 8])
- v.dot(A)
v.dot(A)
运行输出结果：array([4, 7])
三、Numpy中的聚合操作
import numpy as np
L = np.random.random(100)
运行输出结果：
array([0.21395159, 0.90268106, 0.88705369, 0.11517909, 0.62676208,
0.56121013, 0.62103571, 0.2418181 , 0.13781453, 0.66670862,
0.51939238, 0.99679432, 0.06384017, 0.5974129 , 0.22196488,
0.93826983, 0.83706847, 0.63491905, 0.48828241, 0.85424059,
0.86514318, 0.47937265, 0.34254143, 0.89577197, 0.14823176,
0.94488872, 0.57030248, 0.57643624, 0.08268558, 0.8237711 ,
0.21887705, 0.46440547, 0.9338367 , 0.132422 , 0.4867988 ,
0.6545799 , 0.36226663, 0.01641314, 0.67876507, 0.35811434,
0.36533195, 0.12174504, 0.37477359, 0.98791281, 0.20553232,
0.65235494, 0.13567244, 0.92317556, 0.82237976, 0.62747037,
0.41160535, 0.46839494, 0.06753446, 0.22386476, 0.20821765,
0.11778734, 0.8643039 , 0.77497708, 0.9884161 , 0.65142779,
0.2374325 , 0.32467954, 0.81959546, 0.9863651 , 0.54072234,
0.21293241, 0.92733881, 0.98738362, 0.90565471, 0.23441948,
0.05477787, 0.69157053, 0.49194796, 0.12415383, 0.55427813,
0.29040539, 0.20166942, 0.30054924, 0.30772375, 0.90932004,
0.84668024, 0.51970052, 0.67773186, 0.37401172, 0.43911304,
0.98495573, 0.42493635, 0.83658015, 0.35920119, 0.91977698,
0.95094167, 0.03354397, 0.92045222, 0.80083071, 0.03480189,
0.22378161, 0.21437509, 0.33268728, 0.51601075, 0.61235958])
- 求和——np.sum()
sum(L)
运行输出结果：52.28029464862967
np.sum(L)
运行输出结果：52.28029464862967
那么这两者有什么不一样呢？其实就是单纯的效率上不一样。
- 最小值——np.min()
np.min(L)
运行输出结果：0.016413139615859218
- 最大值——np.max()
np.max(L)
运行输出结果：0.9967943174823842
接下来，试一下二维数组。
X = np.arange(16).reshape(4, -1)
X
运行输出结果：
array([[ 0, 1, 2, 3],
[ 4, 5, 6, 7],
[ 8, 9, 10, 11],
[12, 13, 14, 15]])
np.sum(X)
运行输出结果：120
但是，很多时候我们并不是需要将所有的数进行求和，而是只需要求每一行或者每一列的和。
np.sum(X, axis=0)
运行输出结果：array([24, 28, 32, 36])
np.sum(X, axis=1)
运行输出结果：array([ 6, 22, 38, 54])
在这里，放一个小技巧，axis=0其实就是要把行压缩掉，那就是说不管有多少行直接压缩为一行，那也就是将每一行放在一起求和，axis=1其实就是把列压缩掉，最终的结果就是每一行出一个数。因为按行求和和按列求和记起来其实并不是那么方便。
- 累乘——np.prod()
np.prod(X)
运行输出结果：0
np.prod(X + 1)
运行输出结果：2004189184
- 均值——np.mean()
np.mean(X)
运行输出结果:7.5
- 中位数——np.median()
np.median(X)
运行输出结果:7.5
- 百分位——np.precentile()
X = np.arange(16).reshape(4, -1)
for percent in [0, 25, 50, 75, 100]:
print(np.percentile(X, q=percent))
运行输出结果:
0.0
3.75
7.5
11.25
15.0
- 方差——np.var()
np.var(X)
运行输出结果:21.25
- 标准差——np.std()
np.std(X)
运行输出结果:4.6097722286464435
四、Numpy中的arg运算
1、索引操作
- np.argmin() # 最小值所在位置的索引
- np.argmax() # 最大值所在位置的索引
2、排序和索引使用
# 首先生成一个乱序数组
import numpy as np
x = np.arange(16)
np.random.shuffle(x)
x
运行输出结果:array([ 4, 2, 8, 14, 0, 15, 6, 3, 11, 7, 13, 1, 12, 10, 9, 5])
- np.sort(x, axis=) 默认axis=1
np.sort(x)
运行输出结果:array([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15])
此时，并没有改变x，x仍是一个乱序的状态，如果想要直接在x上进行排序：
x.sort()
x
运行输出结果:array([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15])
那么对于二维矩阵呢？
X = np.random.randint(10, size=(4, 4))
X
运行输出结果:
array([[5, 3, 9, 2],
[3, 7, 5, 7],
[0, 6, 2, 0],
[8, 7, 4, 8]])
np.sort(X, axis=0)
运行输出结果:
array([[0, 3, 2, 0],
[3, 6, 4, 2],
[5, 7, 5, 7],
[8, 7, 9, 8]])
- np.argsort() 按照索引位置排序
import numpy as np
x = np.arange(16)
np.random.shuffle(x)
np.argsort(x)
运行输出结果:
array([ 1, 15, 9, 0, 10, 8, 12, 13, 5, 4, 6, 2, 3, 14, 11, 7],
dtype=int64)
-
np.partition()
其实，在很多情况下，我们并不需要将所有数进行从大到小排序，而是寻找一个中间值，小于中间值的在左边，大于中间值的在右边。
np.partition(x, 3)
运行输出结果: array([ 0, 1, 2, 3, 9, 8, 10, 12, 5, 11, 4, 14, 6, 7, 13, 15])
- np.argpartition()
np.argpartition(x, 3)
运行输出结果:
array([ 1, 15, 9, 0, 4, 5, 6, 3, 8, 2, 10, 11, 12, 13, 14, 7],
dtype=int64)
五、Fancy Indexing
import numpy as np
x = np.arange(16)
如果我们需要从3-9每间隔2个取一个数？
x[3:9:2]
运行输出结果: array([3, 5, 7])
如果我们需要去取得数据不是等间距的呢？
idx = [3, 5, 8]
x[idx]
运行输出结果:array([3, 5, 8])
ind = np.array([[2, 3],
[4, 5]])
x[ind]
运行输出结果:
array([[2, 3],
[4, 5]])
X = x.reshape(4, -1)
row = np.array([0, 1, 2])
col = np.array([1, 2, 3])
X[row, col]
运行输出结果:array([ 1, 6, 11])
col = [True, False, True, True]
X[1:3, col]
运行输出结果:
array([[ 4, 6, 7],
[ 8, 10, 11]])
六、Numpy.array的比较
import numpy as np
x = np.arange(16)
x > 3
运行输出结果:
array([False, False, False, False, True, True, True, True, True,
True, True, True, True, True, True, True])
-
'>'
-
'<'
-
'>='
-
'<='
-
'=='
-
'!='
结合刚刚学过的聚合操作，进行一些练习。
np.sum(x <= 3)
运行输出结果:4
np.sum((x >= 3) & (x <= 10))
运行输出结果:8
np.count_nonzero(x <= 3) # True为1，False为0
运行输出结果:4
- np.any()
- np.all()
- 与——&
- 或——|
- 非——~
我是尾巴
每篇一句毒鸡汤：千万不要自己感动自己。大部分人看似的努力，不过是愚蠢导致的。
我干了，你随意！
本次推荐：一款图片阅读器，预览更轻松
坚持！