简介
数据分析：是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律
数据分析三剑客：Numpy,Pandas,Matplotlib
NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。
一、创建ndarray
1. 使用np.array()创建
1、一维数据创建
import numpy as np np.array([1,2,3,4,5])
2、二维数组创建
np.array([[1,1.2,3],[4,5,'six']])
注意：
- numpy默认ndarray的所有元素的类型是相同的
- 如果传进来的列表中包含不同的类型，则统一为同一类型，优先级：str>float>int
示例：使用matplotlib.pyplot获取一个numpy数组，数据来源于一张图片
import matplotlib.pyplot as plt img_arr=plt.imread("cat.jpg") # 结果为三维数组 plt.imshow(img_arr)
对图片对维数组进行操作
plt.imshow(img_arr-2)
2. 使用np的routines函数创建
1、np.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None) 等差数列
np.linspace(1,100,num=10) # 均分 start - end 之间的数字 返回num个节点数字组成的一维数组
结果
array([ 1., 12., 23., 34., 45., 56., 67., 78., 89., 100.])
2、 np.arange([start, ]stop, [step, ]dtype=None)
np.arange(0,100,2)
结果
array([ 0, 2, 4, 6, 8, 10, 12, 14, 16, 18, 20, 22, 24, 26, 28, 30, 32, 34, 36, 38, 40, 42, 44, 46, 48, 50, 52, 54, 56, 58, 60, 62, 64, 66, 68, 70, 72, 74, 76, 78, 80, 82, 84, 86, 88, 90, 92, 94, 96, 98])
3、np.random.randint(low, high=None, size=None, dtype='l')
- 随机原理
- 随机因子：表示的是一个无时无刻都在变化的数值
np.random.randint(0,10,3) # 随机生成3个 0 -10 之间的整数
# 生成strat - end 之间的随机整数 np.random.randint(0,10,size=(3,4))
# 设置随机因子为定值，随机数不再改变 np.random.seed(0) np.random.randint(0,10,3)
# 生成0-1之间的随机数 np.random.random(size=(3,5))
二、ndarray的属性
4个必记参数： ndim：维度 shape：形状（各维度的长度） size：总长度 dtype：元素类型
img_arr.ndim
img_arr.shape
img_arr.size
img_arr.dtype
三、ndarray的基本操作
1. 索引
一维与列表完全一致，多维时同理
# 先生成一个列表 arr1=np.random.randint(0,100,size=(4,5)) arr1[1] # 获取索引为1的行 arr1[0][3] # 获取0行的第三列元素 arr1[0][3]=100 # 对数组对应位置的值进行更改
2. 切片
一维与列表完全一致，多维时同理
# 获取arr1的前两行 arr1[0:2] # 获取arr1的前两列 arr1[:,0:2] #应用了逗号的机制，逗号左边为第一个维度，右边为第二个维度 # 获取arr1 1-3行的1-2列 arr1[1:4,1:3]
倒序
# 倒序 arr1[::-1] # 行倒序 arr1[:,::-1] # 列倒序 arr1[::-1,::-1] # 行列都倒序
根据倒序可以实现图片的倒置。
3. 变形
使用arr.reshape()函数，注意参数是一个tuple！
1.将一维数组变形成多维数组
# 创建一维数组 arr2=np.random.randint(0,100,12) # 将一维数组变成多维数组 arr2.reshape((3,4))
2.将多维数组变形成一维数组
# 先创建多维数组 arr2=np.random.randint(0,100,size=(3,4)) # 多维数组变一维数组 arr2.reshape((12,))
注意
新的shape存放的数组元素个数应与原数组个数一致
4. 级联
- np.concatenate()
合并图片
img_con3=np.concatenate((img_arr,img_arr,img_arr),axis=1) #axis 0 表示行组合 1 表示列组合 plt.imshow(img_con3) img_con9=np.concatenate((img_con3,img_con3,img_con3),axis=0) plt.imshow(img_con9)
级联需要注意的点： - 级联的参数是列表：一定要加中括号或小括号 - 维度必须相同 - 形状相符:在维度保持一致的前提下，如果进行横向（axis=1）级联，必须保证进行级联的数组行数保持一致。如果进行纵向（axis=0）级联，必须保证进行级联的数组列数保持一致。 - 可通过axis参数改变级联的方向
四、ndarray的聚合操作
1. 求和np.sum
arr0=np.random.randint(0,10,size=(2,3))
输出
array([[0, 5, 0],
[1, 2, 4]])
arr0.sum(axis=0)
输出
array([1, 7, 4])
arr0.sum(axis=1)
输出
array([5, 7])
arr0.sum()
输出
12
2. 最大最小值：np.max/ np.min
3.平均值：np.mean()
4. 其他聚合操作
Function Name NaN-safe Version Description np.sum np.nansum Compute sum of elements np.prod np.nanprod Compute product of elements np.mean np.nanmean Compute mean of elements np.std np.nanstd Compute standard deviation np.var np.nanvar Compute variance np.min np.nanmin Find minimum value np.max np.nanmax Find maximum value np.argmin np.nanargmin Find index of minimum value np.argmax np.nanargmax Find index of maximum value np.median np.nanmedian Compute median of elements np.percentile np.nanpercentile Compute rank-based statistics of elements np.any N/A Evaluate whether any elements are true np.all N/A Evaluate whether all elements are true np.power 幂运算
六、ndarray的排序
np.sort()与ndarray.sort()都可以，但有区别：
- np.sort()不改变原数组
- ndarray.sort()本地处理，不占用空间，但是直接操作的是原数组
arr0=np.random.randint(0,10,size=(2,3)) ret=np.sort(arr0) # 不改变原数组 arr0.sort(axis=0) # 改变原数组