目录
numpy 模块
1.numpy 模块介绍
numpy是Python的一种开源的数值扩展库，这种库可用来存储和处理大型numpy数组比Python自身的嵌套列表结构要高效的多（该结构也可以用来表示numpy数组）。
numpy库有两个作用：
1.区别于list列表，提供了数组操作、数组运算、以及统计分布和简单的数字模型；
2.计算速度快，甚至要由于Python内置的简单运算，是使得其成为pandas、sklearn等模块的依赖包。高级的框架如TensorFlow、pytorch等，其数组操作也和numpy非常相似。
2.为什么用numpy？
import numpy as np
l1=[1,2,3]
l2=[4,5,6]
l=[]
for i in range(len(l1)):
l.append(l1[i]*l2[i])
print(l)
arr1=np.array(l1)
arr2=np.array(l2)
print(arr1*arr2)
'''
[4, 10, 18]
[ 4 10 18]
'''
如果我们想让l1*l2得到一个结果为[4,10,18]的列表用到了for循环，非常复杂。
3.创建numpy数组
numpy数组即numpy的ndarray的对象，创建numpy数组就是把一个列表传入np.array()方法。
# 创建一维的ndarray对象
arr = np.array([1,2,3])
print(arr,type(arr))
[1 2 3] <class 'numpy.ndarray'>
#创建二维的ndarray对象
print(np.array([1,2,3],[4,5,6]))
'''
[[1 2 3][4 5 6]]
'''
#创建三维的ndarray对象
print(np.array([[1,2,3],[4,5,6],[7,8,9]]))
'''
[[1 2 3] [4 5 6][7 8 9]]
'''
4.numpy数组的常用属性
| 属性 | 解释 |
|---|---|
| T | 数组的转置（对高维数组而言） |
| dtype | 数组元素的数据类型 |
| size | 数组元素的个数 |
| ndim | 数组的维数 |
| shape | 数组的维度大小（以元组形式） |
| astype | 类型转换 |
dtype种类：bool_，int（8，16，32，64），float（16，32，64）
l1=[[1,2,3],[4,5,6],[7,8,9]]
arr1=np.array(l1,dtype=np.float32)
print(arr1)
print(arr1.dtype)
print(arr1.shape)
[[1. 2. 3.]
[4. 5. 6.]
[7. 8. 9.]]
float32
(3, 3) # 表示该数组是3行3列
print(arr1.T) # 列转换成行，行转换成列
[[1. 4. 7.]
[2. 5. 8.]
[3. 6. 9.]]
arr1=arr1.astype(np.int32)
print(arr1.dtype)
print(arr1)
int32
[[1 2 3]
[4 5 6]
[7 8 9]]
print(arr1.size)
9
print(arr1.ndim)
2
5.获取numpy数组的行列数
numpy数组是多维的，对于二维数组而言，numpy数组就是既有行又有列。
arr = np([1,2,3],[4,5,6])
print(arr)
[[1 2 3][4 5 6]]
# 获取numpy数组的行和列构成的数组
print(arr.shape)
(2,3)
# 获取numpy数组的行
print(arr.shape[0])
# 获取numpy数组的列
print(arr.shape[1])
2
3
6.切割numpy数组
切分numpy数组类似于列表的切割，但是与列表的切割不同的是，numpy数组的切割涉及到行和列的切割，但是两者切割的方式都是从索引0开始，并且取头不取尾。
arr=np.array([[1,2,3,4],[5,6,7,8],[9,10,11,12]])
print(arr)
'''
[[1 2 3 4][5 6 7 8][9 10 11 12]]
'''
# 取所有元素
print(arr[:,:])
'''
[[1 2 3 4][5 6 7 8][9 10 11 12]]
'''
# 取第一行的所有元素
print(arr[:1,:])
[[1 2 3 4]]
# 取第一行的所有元素
print(arr[0,[0,1,2,3]])
[1 2 3 4]
# 取第一列的所有元素
print(arr[:,:1])
[[1]
[5]
[9]]
# 取第一列的所有元素
print(arr[(0,1,2),0])
[1 5 9]
# 取第一行第一列的元素
print(arr[0,0])
1
# 取大于5的元素，返回一个数组
print(arr[arr>5])
[6 7 8 9 10 11 12]
# numpy 数组按运算符取元素的原理，即通过arr>5生成一个布尔numpy数组
print(arr>5)
[[False False False False]
[False True True True]
[ True True True True]]
7.numpy 数组元素替换
numpy数组元素的替换，类似于列表元素的替换，并且numpy数组也是一个可变类型的数据，即既如果对数组进行替换操作，会修改原numpy数组的元素，所以下面我们用.copy（）方法举例numpy数组元素的替换。
arr=np.array([[1,2,3,4],[5,6,7,8],[9,10,11,12]])
print(arr)
'''
[[ 1 2 3 4]
[ 5 6 7 8]
[ 9 10 11 12]]
'''
# 取第一行的所有元素，并且让第一行的元素都为0
arr1=arr.copy()
arr1[:1,:]=0
print(arr1)
'''
[[ 0 0 0 0]
[ 5 6 7 8]
[ 9 10 11 12]]
'''
# 取所有大于5的元素，并且让大于5的元素为0
arr2=arr.copy()
arr2[arr>5]=0
print(arr2)
'''
[[1 2 3 4]
[5 0 0 0]
[0 0 0 0]]
'''
# 对numpy数组清零
arr3=arr.copy()
arr3[:,:] = 0
print(arr3)
'''
[[0 0 0 0]
[0 0 0 0]
[0 0 0 0]]
'''
## 8.numpy数组的合并
arr1=np.array([[1,2],[3,4],[5,6]])
print(arr1)
arr2=np.array([[7,8],[9,10],[11,12]])
print(arr2)
'''
[[1 2]
[3 4]
[5 6]]
[[ 7 8]
[ 9 10]
[11 12]]
'''
# 合并两个numpy数组的行，注意使用hstack()方法合并numpy数组，numpy数组应该有相同的行，其中hstack的h表示horizontal水平的
print(np.hstack((arr1,arr2)))
'''
[[ 1 2 7 8]
[ 3 4 9 10]
[ 5 6 11 12]]
'''
# 合并两个numpy数组，其中axis=1表示合并两个numpy数组的行
print(np.concatenate((arr1,arr2),axis=1))
'''
[[ 1 2 7 8]
[ 3 4 9 10]
[ 5 6 11 12]]
'''
# 合并两个numpy数组的列，注意使用vstack()方法合并numpy数组，numpy数组应该有相同的列，其中vstack的v表示vertical垂直的
print(np.vstack((arr1,arr2)))
'''
[[ 1 2]
[ 3 4]
[ 5 6]
[ 7 8]
[ 9 10]
[11 12]]
'''
# 合并两个numpy数组，其中axis=0表示合并两个numpy数组的列
print(np.concatenate((arr1,arr2),axis=0))
'''
[[ 1 2]
[ 3 4]
[ 5 6]
[ 7 8]
[ 9 10]
[11 12]]
'''
9.通过函数创建numpy数组
| 方法 | 详解 |
|---|---|
| array() | 将列表转换为数组，可选择显式指定dtype |
| arange() | range的numpy版，支持浮点数 |
| linspace() | 类似arange(),第三个参数为数组长度 |
| zeros() | 根据指定形状和dtype创建全0数组 |
| ones() | 根据指定形状的dtype创建全1数组 |
| eye() | 创建单位矩阵 |
| empty() | 创建一个元素全随机的数组 |
| reshape() | 重塑形状 |
1) arange
arr=np.array([1,2,3])
# 构造0-9的ndarray数组
print(np.arange(10))
# 构造1-4的ndarray数组
print(np.arange(1,5))
# 构造1-19且步长为2的ndarray数组
print(np.arange(1,20,2))
'''
[0 1 2 3 4 5 6 7 8 9]
[1 2 3 4]
[ 1 3 5 7 9 11 13 15 17 19]
'''
2) linspace/logspace
# 构造一个等差数列，取头也取尾，从0取到20，最后一个参数表示在0到20所要构成等差的个数，比如例子中11，表示构成的等差的元素一共是11个，那么d=2
print(np.linspace(0,20,11))
[ 0. 2. 4. 6. 8. 10. 12. 14. 16. 18. 20.]
# 构成一个等比数列，从10**0取到10**20，取5个数
print(np,logspace(0,20,5))
[1.e+00 1.e+05 1.e+10 1.e+15 1.e+20]
3) zeros/ones/eye/empty
# 构造3*4的全0numpy数组
print(np.zeros((3,4)))
'''
[[0. 0. 0. 0.]
[0. 0. 0. 0.]
[0. 0. 0. 0.]]
'''
# 构造3*4的全1numpy数组
print(np.ones((3,4)))
'''
[[1. 1. 1. 1.]
[1. 1. 1. 1.]
[1. 1. 1. 1.]]
'''
# 构造3个主元的单位numpy数组
print(np.eye(3))
'''
[[1. 0. 0.]
[0. 1. 0.]
[0. 0. 1.]]
'''
# 构造一个4*4的随机numpy数组，里面的元素是随机生成的
print(np.empty((4, 4)))
'''
[[ 2.31584178e+077 -1.49457545e-154 3.95252517e-323 0.00000000e+000]
[ 0.00000000e+000 0.00000000e+000 0.00000000e+000 0.00000000e+000]
[ 0.00000000e+000 0.00000000e+000 0.00000000e+000 0.00000000e+000]
[ 0.00000000e+000 0.00000000e+000 1.29074055e-231 1.11687366e-308]]
'''
4) reshape
arr = np.ones([2, 2], dtype=int)
print(arr.reshape(4, 1))
[[1]
[1]
[1]
[1]]
10.numpy 数组运算
| 运算符 | 说明 |
|---|---|
| + | 两个numpy数组对应元素相加 |
| - | 两个numpy数组对应元素相减 |
| * | 两个numpy数组对应元素相乘 |
| / | 两个numpy数组对应元素相除，如果都是整数则取商 |
| % | 两个numpy数组对应元素相除后取余数 |
| **n | 单个numpy数组每个元素都取n次方，如**2：每隔元素都取平方 |
arrarr1 = np.array([[1, 2], [3, 4], [5, 6]])
arr2 = np.array([[7, 8], [9, 10], [11, 12]])
print(arr1 + arr2)
print(arr1**2)
'''
[[ 8 10]
[12 14]
[16 18]]
[[ 1 4]
[ 9 16]
[25 36]]
'''
11.numpy数组运算函数
| numpy 数组函数 | 详解 |
|---|---|
| np.sin(arr) | 对numpy数组arr中每个元素取正弦，sin(x) |
| np.cos(arr) | 对numpy数组arr中每个元素取余弦，cos(x) |
| np.tan(arr) | 对numpy数组arr中每个元素取正切，tan(x) |
| np.arcsin(arr) | 对numpy数组arr中每个元素取反正弦，arcsin(x) |
| np.arccos(arr) | 对numpy数组arr中每个元素取反余弦，arccos(x) |
| np.arctan(arr) | 对numpy数组arr中每个元素取反正切，arctan(x) |
| np.exp(arr) | 对numpy数组arr中每个元素取指数函数，ex |
| np.sqrt(arr) | 对numpy数组arr中每个元素开根号x−−√ |
一元函数：abs, sqrt, exp, log, ceil, floor, rint, trunc, modf, isnan, isinf, cos, sin, tan
二元函数：add, substract, multiply, divide, power, mod, maximum, mininum
arr = np.array([[1, 2, 3, 4], [5, 6, 7, 8], [9, 10, 11, 12]])
print(arr)
'''
[[ 1 2 3 4]
[ 5 6 7 8]
[ 9 10 11 12]]
'''
# 对numpy数组的所有元素取正弦
print(np.sin(arr))
'''
[[ 0.84147098 0.90929743 0.14112001 -0.7568025 ]
[-0.95892427 -0.2794155 0.6569866 0.98935825]
[ 0.41211849 -0.54402111 -0.99999021 -0.53657292]]
'''
# 对numpy数组的所有元素开根号
print(np.sqrt(arr))
'''
[[1. 1.41421356 1.73205081 2. ]
[2.23606798 2.44948974 2.64575131 2.82842712]
[3. 3.16227766 3.31662479 3.46410162]]
'''
# 对numpy数组的所有元素取反正弦，如果元素不在定义域内，则会取nan值
print(np.arcsin(arr * 0.1))
'''
[[0.10016742 0.20135792 0.30469265 0.41151685]
[0.52359878 0.64350111 0.7753975 0.92729522]
[1.11976951 1.57079633 nan nan]]
'''
# 判断矩阵元素中是否含有np.nan值
print(np.isnan(arr))
'''
[[False False False]
[False False False]]
'''
12.numpy 数组矩阵化
1）numpy数组的点乘
# 点乘必须满足一个数组的行数与另外一个数组的列数相同，数组1的行元素乘以对应数组2的列元素
arr1=np.array([[1,2,3],[4,5,6]]) # 两行三列
arr2=np.array([[1,2],[3,4],[5,6]]) # 三行两列
print(arr1.shape)
print(arr2.shape)
print(np.dot(arr1,arr2))
'''
(2, 3)
(3, 2)
[[22 28] # 22=1*1+2*3+3*5 28=1*2+2*4+3*6
[49 64]] # 49=4*1+5*3+6*5 64=4*2+5*4+6*6
'''
2) numpy 数组的转置
numpy数组的转置，相当于numpy数组的行和列互换。
arr = np.array([[1, 2, 3], [4, 5, 6]])
print(arr)
'''
[[1 2 3]
[4 5 6]]
'''
print(arr.transpose())
'''
[[1 4]
[2 5]
[3 6]]
'''
print(arr.T)
'''
[[1 4]
[2 5]
[3 6]]
'''
3) numpy 数组的逆
numpy数组行和列相同时，numpy数组才可逆。
arr = np.array([[1, 2, 3], [4, 5, 6], [9, 8, 9]])
print(arr)
'''
[[1 2 3]
[4 5 6]
[9 8 9]]
'''
print(np.linalg.inv(arr))
'''
[[ 0.5 -1. 0.5 ]
[-3. 3. -1. ]
[ 2.16666667 -1.66666667 0.5 ]]
'''
# 单位numpy数组的逆是单位numpy数组本身
arr = np.eye(3)
print(arr)
'''
[[1. 0. 0.]
[0. 1. 0.]
[0. 0. 1.]]
'''
print(np.linalg.inv(arr))
'''
[[1. 0. 0.]
[0. 1. 0.]
[0. 0. 1.]]
'''
13.numpy 数组数学和统计方法
| 方法 | 详解 |
|---|---|
| sum | 求和 |
| cumsum | 累加求和 |
| mean | 求平均数 |
| std | 求标准差 |
| var | 求方差 |
| min | 求最小值 |
| max | 求最大值 |
| argmin | 求最小值索引 |
| argmax | 求最大值索引 |
| sort | 排序 |
1）最大值最小值
arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
print(arr)
[[1 2 3]
[4 5 6]
[7 8 9]]
# 获取numpy数组所有元素中的最大值
print(arr.max())
9
# 获取numpy数组所有元素中的最小值
print(arr.min())
1
# 获取举着每一行的最大值
print(arr.max(axis=0))
[7 8 9]
# 获取numpy数组每一列的最大值
print(arr.max(axis=1))
[3 6 9]
# 获取numpy数组最大元素的索引位置
print(arr.argmax(axis=1))
[2 2 2]
2)平均值
arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
print(arr)
'''
[[1 2 3]
[4 5 6]
[7 8 9]]
'''
# 获取numpy数组所有元素的平均值
print(arr.mean())
# 获取numpy数组每一列的平均值
print(arr.mean(axis=0))
# 获取numpy数组每一行的平均值
print(arr.mean(axis=1))
'''
5.0
[4. 5. 6.]
[2. 5. 8.]
'''
3) 方差
方差公式为
mean(|x-x.mean()|**2) 其中x为numpy数组。
arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
print(arr)
'''
[[1 2 3]
[4 5 6]
[7 8 9]]
'''
# 获取numpy数组所有元素的方差
print(arr.var())
# 获取numpy数组每一列的元素的方差
print(arr.var(axis=0))
# 获取numpy数组每一行的元素的方差
print(arr.var(axis=1))
'''
6.666666666666667
[6. 6. 6.]
[0.66666667 0.66666667 0.66666667]
'''
4)标准差
标准差公式为
$$
(mean|x-x.mean()|2)0.5=(x.var())**0.5
$$
arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
print(arr)
'''
[[1 2 3]
[4 5 6]
[7 8 9]]
'''
# 获取numpy数组所有元素的标准差
print(arr.std())
# 获取numpy数组每一列的标准差
print(arr.std(axis=0))
# 获取numpy数组每一行的标准差
print(arr.std(axis=1))
'''
2.581988897471611
[2.44948974 2.44948974 2.44948974]
[0.81649658 0.81649658 0.81649658]
'''
5) 中位数
arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
print(arr)
'''
[[1 2 3]
[4 5 6]
[7 8 9]]
'''
# 获取numpy数组所有元素的中位数
print(np.median(arr))
# 获取numpy数组每一列的中位数
print(np.median(arr, axis=0))
# 获取numpy数组每一行的中位数
print(np.median(arr, axis=1))
'''
5.0
[4. 5. 6.]
[2. 5. 8.]
'''
6) numpy 数组求和
arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])
print(arr)
'''
[[1 2 3]
[4 5 6]
[7 8 9]]
'''
# 对numpy数组的每一个元素求和
print(arr.sum())
# 对numpy数组的每一列求和
print(arr.sum(axis=0))
# 对numpy数组的每一行求和
print(arr.sum(axis=1))
'''
45
[12 15 18]
[ 6 15 24]
'''
7) 累加和
arr = np.array([1, 2, 3, 4, 5])
print(arr)
# 第n个元素为前n-1个元素累加和
print(arr.cumsum())
'''
[1 2 3 4 5]
[ 1 3 6 10 15]
'''
14.numpy.random 生成随机数
| 函数名称 | 函数功能 | 参数说明 |
|---|---|---|
| rand(d0,d1,⋯,dnd0,d1,⋯,dn) | 产生均匀分布的随机数 | dndn为第n维数据的维度 |
| randn(d0,d1,⋯,dnd0,d1,⋯,dn) | 产生标准正态分布随机数 | dndn为第n维数据的维度 |
| randint(low[, high, size, dtype]) | 产生随机整数 | low:最小值；high:最大值；size:数据个数 |
| random_sample([size]) | 在[0,1)[0,1)内产生随机数 | size为随机数的shape，可以为元祖或者列表 |
| choice(a[, size]) | 从arr中随机选择指定数据 | arr为1维数组；size为数组形状 |
| uniform(low,high [,size]) | 给定形状产生随机数组 | low为最小值；high为最大值，size为数组形状 |
| shuffle(a) | 与random.shuffle相同 | a为指定数组 |
# RandomState()方法会让数据值随机一次，之后都是相同的数据
rs = np.random.RandomState(1)
print(rs.rand(10))
'''
[4.17022005e-01 7.20324493e-01 1.14374817e-04 3.02332573e-01
1.46755891e-01 9.23385948e-02 1.86260211e-01 3.45560727e-01
3.96767474e-01 5.38816734e-01]
'''
# 构造3*4的均匀分布的numpy数组
# seed()方法会让数据值随机一次，之后都是相同的数据
np.random.seed(1)
print(np.random.rand(3, 4))
'''
[[4.17022005e-01 7.20324493e-01 1.14374817e-04 3.02332573e-01]
[1.46755891e-01 9.23385948e-02 1.86260211e-01 3.45560727e-01]
[3.96767474e-01 5.38816734e-01 4.19194514e-01 6.85219500e-01]]
'''
# 构造3*4*5的均匀分布的numpy数组
print(np.random.rand(3, 4, 5))
'''
[[[0.20445225 0.87811744 0.02738759 0.67046751 0.4173048 ]
[0.55868983 0.14038694 0.19810149 0.80074457 0.96826158]
[0.31342418 0.69232262 0.87638915 0.89460666 0.08504421]
[0.03905478 0.16983042 0.8781425 0.09834683 0.42110763]]
[[0.95788953 0.53316528 0.69187711 0.31551563 0.68650093]
[0.83462567 0.01828828 0.75014431 0.98886109 0.74816565]
[0.28044399 0.78927933 0.10322601 0.44789353 0.9085955 ]
[0.29361415 0.28777534 0.13002857 0.01936696 0.67883553]]
[[0.21162812 0.26554666 0.49157316 0.05336255 0.57411761]
[0.14672857 0.58930554 0.69975836 0.10233443 0.41405599]
[0.69440016 0.41417927 0.04995346 0.53589641 0.66379465]
[0.51488911 0.94459476 0.58655504 0.90340192 0.1374747 ]]]
'''
# 构造3*4的正态分布的numpy数组
print(np.random.randn(3, 4))
'''
[[ 0.30017032 -0.35224985 -1.1425182 -0.34934272]
[-0.20889423 0.58662319 0.83898341 0.93110208]
[ 0.28558733 0.88514116 -0.75439794 1.25286816]]
'''
# 构造取值为1-5内的10个元素的ndarray数组
print(np.random.randint(1, 5, 10))
[1 1 1 2 3 1 2 1 3 4]
# 构造取值为0-1内的3*4的numpy数组
print(np.random.random_sample((3, 4)))
'''
[[0.62169572 0.11474597 0.94948926 0.44991213]
[0.57838961 0.4081368 0.23702698 0.90337952]
[0.57367949 0.00287033 0.61714491 0.3266449 ]]
'''
arr = np.array([1, 2, 3])
# 随机选取arr中的两个元素
print(np.random.choice(arr, size=2))
'''
[1 3]
'''
arr = np.random.uniform(1, 5, (2, 3))
print(arr)
'''
[[4.72405173 3.30633687 4.35858086]
[3.49316845 2.29806999 3.91204657]]
'''
np.random.shuffle(arr)
print(arr)
'''
[[3.49316845 2.29806999 3.91204657]
[4.72405173 3.30633687 4.35858086]]
'''