机器学习作业7--逻辑回归实践

1.逻辑回归是怎么防止过拟合的？为什么正则化可以防止过拟合？（大家用自己的话介绍下）

答：算法上可以使用正则化；数据上可以加大样本量和通过特征选择减少特征量。

正则化是通过约束参数的范数使其不要太大，所以可以在一定程度上减少过拟合情况。

2.用logiftic回归来进行实践操作，数据不限。

实验代码：

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report
import numpy as np

cancer = load_breast_cancer()  # 载入数据
X = cancer.data        # 数据
y = cancer.target      # 是否患病
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)   # 划分训练集和测试集

model = LogisticRegression()   # 模型的构建
model.fit(X_train, y_train)    # 模型的训练
print('训练数据集的评分：', model.score(X_train, y_train))
print('测试数据集的评分：', model.score(X_test, y_test))
# 样本预测
y_pre = model.predict(X_test)
print('测试样本的个数：', y_test.shape[0])
print('测试样本中预测正确的个数：', np.equal(y_pre, y_test).shape[0])
# classification_report标签：
# 精确度：precision，正确预测为正的，占全部预测为正的比例，TP / (TP+FP)
# 召回率：recall，正确预测为正的，占全部实际为正的比例，TP / (TP+FN)
# F1-score：精确率和召回率的调和平均数，2 * precision*recall / (precision+recall)
# 同时还会给出总体的微平均值，宏平均值和加权平均值。
#
# 微平均值：micro average，所有数据结果的平均值
# 宏平均值：macro average，所有标签结果的平均值
# 加权平均值：weighted average，所有标签结果的加权平均值
print('分类报告：
', classification_report(y_test, y_pre))
print('逻辑回归的准确率为：{0:.2f}%'.format(model.score(X_test, y_test)*100))

实验结果：