K均值算法--应用

1. 应用K-means算法进行图片压缩

读取一张图片

观察图片文件大小，占内存大小，图片数据结构，线性化

用kmeans对图片像素颜色进行聚类

获取每个像素的颜色类别，每个类别的颜色

压缩图片生成：以聚类中收替代原像素颜色，还原为二维

观察压缩图片的文件大小，占内存大小

代码如下：

from sklearn.datasets import load_sample_image
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt
import numpy as np
import matplotlib.image as mpimg
import sys

#加载样本图像
# image = load_sample_image('china.jpg')
#加载本地图片
image = mpimg.imread('image2.jpg')
#降维（将二维图片变成一维）
X = image.reshape(-1,3)
print(image.shape,X.shape)

#进行聚类将255*255*255聚成64类
n_colors=64
model=KMeans(n_colors)
#一维(273280, 3)对每一个像素进行分类
labels=model.fit_predict(X)
#将273280分成64类
colors=model.cluster_centers_

new_image=colors[labels].reshape(image.shape)
#显示原图片
plt.imshow(image)
plt.show()
#显示压缩后的图片
new_image=new_image.astype(np.uint8)
plt.imshow(new_image)
plt.show()
#二次压缩（每三个像素取一个）
new_image=new_image.astype(np.uint8)[::3,::3]
plt.imshow(new_image)
plt.show()

print("image Size:",sys.getsizeof(image))
print("new_image Size:",sys.getsizeof(new_image))

import matplotlib.image as img
img.imsave('F:\01.jpg',image)
img.imsave('F:\02.jpg',new_image)

原图：

 第一次压缩后的图：

 第二次压缩后的图：

 原图和压缩后的图的大小对比：

2. 观察学习与生活中可以用K均值解决的问题。

从数据-模型训练-测试-预测完整地完成一个应用案例。

这个案例会作为课程成果之一，单独进行评分。

将不同工作经验者的工资进行Kmeans算法归类

• 爬取30000条智联招聘网的招聘信息

import requests
import re
import csv
# https://www.zhipin.com/c101280100/?query=Java
# https://jobs.51job.com/guangzhou/p1/
# <span class="location">10-15万/年</span>
# <div class="e ">D+</div>
# <p class="info">(.*?)</p>D+<p class="order">(.*?)</p>
i=1
with open('data.csv', 'a+', newline='', encoding='utf8') as f:
    writer = csv.writer(f, dialect="excel")
    writer.writerow(['职位','地址','工资','发布日期','学历要求','工作经验','公司性质','公司规模'])
    while True:
        url = "https://jobs.51job.com/guangzhou/hy01/p"+str(i)+"/"
        int(i)
        i+=1
        print(url)
        response = requests.get(url)
        if response.status_code!=200:
            break
        response.encoding='gbk'
        data_list = re.findall('<p class="info">(.*?)</p>D+<p class="order">(.*?)</p>',response.text)
        datac = {}
        for data in data_list:
            # print(data[0])
            data1 = re.findall('<a.*?target="_blank".*?>(.*?)</a>.*?<span class="location name">(.*?)</span>.*?<span class="location">(.*?)</span>.*?<span class="time">(.*?)</span>',data[0])
            # print(data1)
            datac['职位']=data1[0][0]
            datac['地址']=data1[0][1]
            datac['工资']=data1[0][2]
            datac['发布日期']=data1[0][3]
            # print(data[1])
            data2 = re.findall('学历要求：(.*?)<span>.*?工作经验：(.*?)<span>.*?公司性质：(.*?)<span>.*?公司规模：(.*)',data[1])
            # print(data1)
            datac['学历要求']=data2[0][0]
            datac['工作经验']=data2[0][1]
            datac['公司性质']=data2[0][2]
            datac['公司规模']=data2[0][3]
            if datac:
                writer.writerow([datac['职位'],datac['地址'],datac['工资'],datac['发布日期'],datac['学历要求'],datac['工作经验'],datac['公司性质'],datac['公司规模']])

• 处理爬取到的信息

from pandas import read_csv
import re
import csv
import numpy as np

data=read_csv('data.csv')

# dict={}#字典去重
# dict2=[]#地址去重后的存放容器
# #地址去重
# for i in data['工资']:
#     i = str(i)#1-1.5万/月
#     d=re.findall('d+.?d*-d+.?d(.*/.*)', i)
#     if d:
#         dict[d[0]]=0
# for i in dict.keys():
#     print(i)

# 查询出来的结果
# 万/月 千/月 万/年

def format(x):
    x = str(x)
    min1=re.findall('(d+.?d*)-(d+.?d*)?(千/月)', x)
    if min1:
        # print(float(min1[0][0])*1000)
        min=str(float(min1[0][0])*1000)
        max=str(float(min1[0][1])*1000)
        return min+"-"+max
    min2 = re.findall('(d+.?d*)-(d+.?d*)?(万/月)', x)
    if min2:
        # print(float(min2[0][0])*10000)
        min=str(float(min2[0][0])*10000)
        max=str(float(min2[0][1])*10000)
        return min+"-"+max
    min3 = re.findall('(d+.?d*)-(d+.?d*)?(万/年)', x)
    if min3:
        # print(float(min2[0][0])*10000)
        min=str(float(min3[0][0])*10000/12)
        max=str(float(min3[0][1])*10000/12)
        return min+"-"+max
data['工资']=data['工资'].apply(format)
data[['最低工资','最高工资']]=data['工资'].str.split('-',1,True)
data=data.drop(['工资'],axis=1)#删除工资列
print(data)

data=data.dropna()

data['平均工资']=(data.最低工资.astype(float)+data.最高工资.astype(float))/2

with open('mogong.csv', "w", newline='', encoding='utf8') as f:
    writer = csv.writer(f)
    writer.writerow(data.columns)
    writer.writerows(data.values)

• 用Kmeans算法进行归类

from sklearn.cluster import KMeans
import pandas as pd
import matplotlib.pyplot as plt
from pylab import mpl

data = pd.read_csv('mogong.csv')
# 去重后的存放容器
dict2=[]
sumSalary={}
column=['工作经验']
# 轴坐标存放容器
X = []


#获取样本种类（样本去重）
def getKind(column):
    for i in data[column]:
        sumSalary[i]=0
    for i in sumSalary.keys():
        dict2.append(i)

def format(x):
    for j in dict2:
        if x == j:
            return dict2.index(j)+1

def relationCoefficient(column1):
    getKind(column1)
    data[column1] = data[column1].apply(format)

for i in column:
    relationCoefficient(i)
    # 备份dict2数据
    X=dict2
    # 初始化容器
    dict2=[]
    sumSalary={}

data = data[['工作经验','平均工资']].astype(int)[0:6000].values

# 构建模型
model = KMeans(n_clusters=5).fit(data)
model.labels_

# 查看聚类效果
mpl.rcParams['font.sans-serif'] = ['SimHei']  # 雅黑字体
for i in range(5):
    plt.scatter(data[model.labels_ == i, 0], data[model.labels_ == i, 1])
# 替换坐标
plt.xticks(range(1,len(X)+1),X,rotation=30)
# 设置y轴名称
plt.ylabel("每月工资")
plt.show()

结果图如下