数据分析第三篇：Numpy知识点

Numpy

将字符型数据转为datetime

import numpy as np
f = np.array(['2018','2019-01-01','2019-01-02 01:01:01'])

# 把f数组的元素类型改为日期类型
g = f.astype('M8[D]') # M8[Y] M8[M] M8[D]
print(g)

# 时间戳（将日期转为数） 上面g的单位不同，这边的数值也不同
# g中的值距离1970年总共有多少天
h = g.astype('int32')
print(h)
print(h[2] - h[1])

生成ndarray数组

- np.random.random((2,2))
- np.ones((3,4))
- np.zeros((2,2), dtype='int32')
- np.arange(1,10)
- np.linspace(0,2,10)
- np.eye(3)
- np.full((3,3),7)

np.random.random((2,2))
Out[2]: 
array([[ 0.61705652, 0.48264423],
[ 0.69303143, 0.35004567]])

np.ones((3,4))
Out[3]: 
array([[ 1., 1., 1., 1.],
[ 1., 1., 1., 1.],
[ 1., 1., 1., 1.]])

np.zeros((2,2), dtype='int32')
Out[4]: 
array([[0, 0],
[0, 0]])

np.arange(1,10)
Out[5]: array([1, 2, 3, 4, 5, 6, 7, 8, 9])

np.linspace(0,2,10)
Out[6]: 
array([ 0. , 0.22222222, 0.44444444, 0.66666667, 0.88888889,
1.11111111, 1.33333333, 1.55555556, 1.77777778, 2. ])

np.eye(3)
Out[7]: 
array([[ 1., 0., 0.],
[ 0., 1., 0.],
[ 0., 0., 1.]])

np.full((3,3),7)
Out[8]: 
array([[7, 7, 7],
[7, 7, 7],
[7, 7, 7]])

Numpy 的random模块

# 使用numpy.random的normal函数生成符合二项分布的随机数
n = 100
# 172：期望值
# 20：标准差
# n：数字生成数量
x= np.random.normal(172, 20, n)
y= np.random.normal(60, 10, n)

ndarray数组对象的维度操作

视图变维：array.reshape() array.ravel()

- ravel() 是扁平化但是不复制，公用一个对象
- flatten() 是扁平化同时复制，会生成一个新对象并且返回

import numpy as np
a = np.arange(1,9)
# 视图变维使用的还是原始数组中的数据，如果修改了原始数组中的数据，那么新数组读到的数据也会发生变化。
b = a.reshape((2,4))
print(a,b)
a[0] =999
print(b)
c = b.ravel()
print(c)

复制变维（数据独立）：flatten()

# 测试flatten
d=b.flatten().reshape((2,4))
d[0] = 110
print(b)
print(d)

 就地变维：直接修改数组维度，不返回新数组 resize() shape

d.resize(2,2,2)
d.shape=(2,4)
print(d)

ndarray数组的切片操作

# 数组的切片与列表的切片参数类似
# 步长为正：默认从前往后切
# 步长为负：默认从后往前切
array[起始位置:终止位置:步长]
a = np.arange(1,10) # array([1, 2, 3, 4, 5, 6, 7, 8, 9])
a.resize(3,3) # array([[1, 2, 3],
# [4, 5, 6],
# [7, 8, 9]])
a[1:, :] # 第2行到最后一行，所有列

ndarray数组的掩码操作

a = np.array([1,2,3,4,5,6,7,8])
f = np.array([True, False, True, False,False, True, False, True])
a[f]
Out[35]: array([1, 3, 6, 8])

# 现在有数组的1-100，我们现在要拿到数组中3的倍数或7的倍数
flag_a = a%3==0
flag_b = a%7==0

flag_a
Out[43]: 
array([False, False, True, False, False, True, False, False, True,
False, False, False, False, False, ... False, False, False,
False, False, True, False, False, True, False, False, True, False], dtype=bool)

flag = np.any([flag_a, flag_b], axis=0)

a[flag]
Out[45]: 
array([ 3, 6, 7, 9, 12, 14, 15, 18, 21, 24, 27, 28, 30, 33, 35, 36, 39,
42, 45, 48, 49, 51, 54, 56, 57, 60, 63, 66, 69, 70, 72, 75, 77, 78,
81, 84, 87, 90, 91, 93, 96, 98, 99])

多维数组的组合和拆分

垂直方向的操作：vstack() vsplit()

a = np.arange(1,7).reshape(2,3)
b = np.arange(7,13).reshape(2,3)

a
Out[54]: 
array([[1, 2, 3],
[4, 5, 6]])
b
Out[55]: 
array([[ 7, 8, 9],
[10, 11, 12]])

c = np.vstack((a,b))
c
Out[57]: 
array([[ 1, 2, 3],
[ 4, 5, 6],
[ 7, 8, 9],
[10, 11, 12]])

a,b = np.vsplit(c, 2)

水平方向的操作：hstack() hsplit()

d = np.hstack((a,b))
a,b = np.hsplit(d, 2)

深度方向的操作：dstack() dsplit() 二维数组深度操作会变为三维数组，最后拆分也是三维数组

a
Out[59]: 
array([[1, 2, 3],
[4, 5, 6]])

b
Out[60]: 
array([[ 7, 8, 9],
[10, 11, 12]])

e = np.dstack((a,b))

e
Out[62]: 
array([[[ 1, 7],
[ 2, 8],
[ 3, 9]],

[[ 4, 10],
[ 5, 11],
[ 6, 12]]])

a,b = np.dsplit(e,2)
a
Out[64]: 
array([[[1],
[2],
[3]],

[[4],
[5],
[6]]])

多维数组组合与拆分的相关函数

# 根据axis所指定的轴向（0,1,2）进行多维数组的组合
# 如果待组合的两个数组都是二维数组
# axis=0:垂直方向
# axis=1:水平方向
# 如果待组合的两个数组都是三维数组
# axis=0:垂直方向
# axis=1:水平方向
# axis=2:深度方向
np.concatenate((a,b), axis=0)
# 通过axis给定的轴向和拆分的份数对c进行拆分
np.split(c,2,axis=0)

长度不等的两个数组的组合操作

np.pad(ary, # 原始数组
pad_width=(0,1), # 补全方式（头部补0个，尾部补1个）
mode='constant', # 设置补全模式
constant_values=-1) # 设置补全的默认值为-1

a = np.arange(1,5)
a
Out[66]: array([1, 2, 3, 4])
# 返回一个新数组
np.pad(a, pad_width=(0,3),mode='constant',constant_values=-1)
Out[67]: array([ 1, 2, 3, 4, -1, -1, -1])

简单的一维数组的组合方案

a = np.arange(1,10)
b = np.arange(11,20)
# 垂直方向叠加
np.row_stack((a,b))
# 水平方向叠加
np.column_stack((a,b))

Numpy数组的其他属性

1.shape 维度

2.dtype 元素类型

3.size 元素的个数

4.ndim 维度

5.itemsize 元素字节数

6.nbytes 数组的总字节数

7.real 复数数组的实部

8.imag 复数数组的虚部

9.T 数组对象的转置视图

10.flat 返回数组的扁平迭代器

a = np.arange(1,28)
a.resize(3,3,3)

a.size
Out[75]: 27

len(a)
Out[76]: 3

a.ndim
Out[77]: 3

a.shape
Out[78]: (3, 3, 3)

a.dtype
Out[79]: dtype('int32')

a.dtype.name
Out[81]: 'int32'

# ndarray数组的扁平迭代器
for i in a.flat:
print(i)
[e for e in a.flat]