作业四——K均值算法--应用

1. 应用K-means算法进行图片压缩

（1）读取一张图片（照片来源：微博@喵呜不停）

（2）观察图片文件大小，占内存大小，图片数据结构，线性化

from matplotlib import pyplot as plt
from sklearn.cluster import KMeans
import numpy as np
import matplotlib.image as img

plt.rcParams['font.sans-serif'] = ['Microsoft YaHei']

img1 = img.imread("./img/cat.jpg")

# 根据图片的分辨率，可适当降低分辨率
img2 = img1[::6, ::6]  # 降低分辨率，训练时减短等待时间
X = img1.reshape(-1, 3)  # 生成行数未知，列数为3
print(img1.shape, img2.shape, X.shape)

 打印输出：

（3）压缩图片

 · 构造函数方法：

1）用kmeans对图片像素颜色进行聚类

2）获取每个像素的颜色类别，每个类别的颜色

3）压缩图片生成：以聚类中收替代原像素颜色，还原为二维

# 构建模型 ：用k均值聚类算法，将图片中所有的颜色值做聚类。
def cluster(x, n_colors):
    model = KMeans(n_clusters=n_colors, n_init=10, max_iter=200)
    model.fit(x)
    labels = model.predict(x)  # 每个像素颜色类别
    colors = model.cluster_centers_  # 聚类中心，每个类别的颜色值
    # img = colors[labels]
    # 重塑图片：用聚类中心的颜色代替原来的颜色值，还原为二维。
    new_img = colors[labels]
    # new_img = img.astype(np.uint8)
    return new_img

 · 利用函数生成压缩图片

# 形成新的图片（8,32,64,128）
img_8 = cluster(X, 8).reshape(img1.shape).astype(np.uint8)
img_32 = cluster(X, 32).reshape(img1.shape).astype(np.uint8)

 · 观察压缩图片的文件大小，占内存大小

# 观察原始图片与新图片。
plt.subplot(131)
plt.title("原图")
plt.imshow(img1)

plt.subplot(132)
plt.title("聚类32种颜色")
plt.imshow(img_32)

plt.subplot(133)
plt.title("聚类8种颜色")
plt.imshow(img_8)
plt.show()

# 将原始图片与新图片保存成文件，观察文件的大小。
plt.imsave("./img/img1.jpg", img1)
plt.imsave("./img/img_8.jpg", img_8)
plt.imsave("./img/img_32.jpg", img_32)
import sys  # 查看内存大小

sys.getsizeof(img1)
sys.getsizeof(img_8)
print("原图大小：" + img1.size + "
 聚类8类图片大小：" + img_8.size)

运行结果：

 · 对比按比例压缩和K-Means算法压缩

plt.subplot(131)
plt.title("原图")
plt.imshow(img1)

plt.subplot(132)
plt.title("聚类8种颜色")
plt.imshow(img_8)
plt.show()

plt.subplot(133)
plt.title("每隔6个像素点压缩")
plt.imshow(img2)

  · 经过等比压缩后和K-Means算法联合压缩后图片的大小

参考资料：Kmeans算法原理与应用-RGB图像压缩

2. 观察学习与生活中可以用K均值解决的问题。

从数据-模型训练-测试-预测完整地完成一个应用案例。

这个案例会作为课程成果之一，单独进行评分。

 · 分析某淘宝店铺的客户群体划分

以淘宝天池User Behavior Data on Taobao App作为源数据

1）数据处理：

筛选一个星期（2014-11-18至2014-11-24）客户成交订单（behavior_type=4）的数据量

 删除无用列 用户所在地理位置、商品种类、用户行为

日期格式设置为 YY-MM-DD

import pandas as pd
import datetime

data = pd.read_csv("./data/user.csv", encoding="utf-8", low_memory=False)
data = data.drop("user_geohash", axis=1)  # 删除用户地理位置
data = data.drop("item_id", axis=1)  # 删除商品id
# data.keys()
data = data.dropna()
data = data.loc[data["behavior_type"] == 4]  # 筛选用户已支付订单
data = data.drop("behavior_type", axis=1)  # 删除用户操作类型
# 修改时间格式
data['time'] = data['time'].map(lambda x: x.split(" ")[0])
data['time'] = data['time'].map(lambda x: datetime.datetime.strptime(x, '%Y-%m-%d'))
# 将商品的类别当成商品金额来处理（数据源没有订单金额，将就叭）
data.rename(columns={'item_category': 'item_money'}, inplace=True)
# 获取每个用户的消费总金额
df2 = data.groupby(by=['user_id'])['item_money'].sum()
data2 = pd.DataFrame({"user": df2.index, "count": df2})
# 获取每个用户距离24号的最新一次消费的日间隔
df3 = datetime.datetime.strptime("2014-11-24", '%Y-%m-%d') - data.groupby(by=['user_id'])['time'].max()
df3 = df3.map(lambda x: x.days)
data3 = pd.DataFrame({"user": df3.index, "recent_consume": df3})
data_rfm = pd.merge(data2, data3, how='left', on='user')
data_rfm.to_csv("./data/rfm.csv")

 2）构建模型

from matplotlib import pyplot as plt
from sklearn.cluster import KMeans
import numpy as np
X = data_rfm.iloc[:, 1:]
est = KMeans(n_clusters=3)
est.fit(X)

 3）预测数据

通过直方图可以直观的看出该店铺的活跃客户人数

y_means = est.predict(X)
level, number = np.unique(y_means,return_counts=True)
plt.barh(level, number)
plt.show()

 参考资料：RFM模型；淘宝用户行为分析