机器学习算法题
线性回归和逻辑回归的异同？ SVM和LR(逻辑回归)有什么不同？
线性回归的输入变量和输出变量都是连续的，逻辑回归的输入变量是连续的，输出变量是类别（或者说是离散的、枚举的）。
SVM和LR一般都用于处理分类问题，不同的是二者的实现原理，SVM是以支持向量到分类平面的距离最大化为优化目标，得到最优分类平面，LR是把输出类别以概率的方式表示，常用的是logistic sigmoid函数，然后通过极大似然或其他方法来构造最优化目标，进而求解得到最优参数。
[补充：有一个大厂的面试官提示我说，sigmoid是函数族，不是单个函数，用在LR里的是 Logistic Sigmoid函数。关于sigmoid函数族，我还没明白是什么意思。]
一阶和二阶正则化的区别是什么？分别适用于什么场合？
二者最大的区别在于是否可以把特征系数将为0，一阶惩罚项不仅可以降低模型复杂度，还可以同时完成特征筛选，即，把部分特征的系数降为0，二阶惩罚项可能会把部分特征的系数降到很小，但一般不会将特征的系数降为0。
适用的场合暂时还没有答案。
评价机器学习分类算法的指标有哪些？
常用的指标有：准确率（precision）、召回率（recall）、F值（F-score）、AUC（Area Under ROC Curve）。
分类问题根据预测值和真实值可以分为如下四类：
| 预测值 | |||
| Positive | Negative | ||
| 真实值 | Positive | TP | FN |
| Negative | FP | TN | |
解释：
TP：True Positive，模型预测是正例，并且预测正确；
FP：False Positive，模型预测是正例，但是预测错误；
TN：True Negative，模型预测是反例，并且预测正确；
FN：False Negative，模型预测是反例，但是预测错误。
TP FP TN FN 分别表示四个类别的测试样本数量，由这四个数值可以计算出：
Precision (P) = TP/(TP+FP)
解释：预测为正例的所有样本中，预测正确的占多大比例，归纳成一个字就是——“准”，因此也称为查准率。
Recall (R) = TP/(TP+FN)
解释：真实是正例的所有样本中，被预测出来的占多大比例，归纳成一个字就是——“全”，因此也称为查全率。
F = 2*P*R/(P+R)
解释：P和R的调和平均。
一般来说，P和R是不可兼得的，P越高R越低，反之亦然。如果我们想要同时获得尽量高的P和R，可以用F值作为评价指标。F值本质上是P和R的调和平均，如果对P和R有不同的倾向，可以在公式中加入权重。
此外，P-R曲线也可以用来评估模型性能。我们利用模型对所有测试样本打分，得分越高表示该样本是正例的概率越高，按照得分由大到小对测试样本排序，然后从头至尾，依次预测每个样本是正例，计算此时的P和R，便可以得到P-R曲线。
引用周志华老师的图：
左上方的点，表示的是得分很高的测试样本的P和R，因为得分高，所以大多数是预测正确的，因此P很高，同时因为样本数量少，R很低，随着样本数量增加，R逐渐增加，P则逐渐减小，直到曲线走到右下角的位置，所有样本都被预测为正例，R一定是1，但是P很低。[补充：曲线的右下角不应该在 (0,1)，应该在(p1,1)处，p1很小，这是个人的理解。]
什么是ROC曲线？横坐标和纵坐标分别是什么含义？曲线上的点是什么含义？
这是个非常重要的问题，面试中最起码被问过三次，因为这个指标是分类问题中最常用的评价指标。
ROC曲线和P-R曲线的构造思想比较相近，只是横纵坐标不同。同样是根据每个测试样本的得分（实值或概率值均可）按从大到小排序，然后从头至尾，逐个预测每个样本是正例，计算 TPR 和 FPR，再把TPR和FPR连接起来，就得到了ROC曲线。
TPR (True Positive Rate) = TP/(TP+FN) 解释：就是查全率。
FPR (False Positive Rate) = FP/(FP+TN) 解释：和查全率类似，把反例当做正例，相当于反例的查全率。
再次引用周老师的图：
左图是理想的ROC曲线，右图是实际应用时得到的ROC曲线。曲线从左下角开始，这时测试样本数量很少，因此TPR和FPR都很小，随着样本数量增加，二者同步增加。更加的理想的情况是，TPR增加的快，FPR增加的慢，即，模型找到的正例更多，反例更少，这就对应了图中更靠上方的点，理解了这一点有助于理解AUC。样本全部判定为正例时，达到了ROC的右上角位置，此时所有正例和所有反例都被找出来了，所以TPR和FPR都是1.0。
ROC曲线和P-R曲线一样，如果模型A的ROC曲线能包裹住模型B的ROC曲线，说明模型A更优。如果模型A和模型B的ROC曲线有交叉，仍要对比二者，就可以用AUC，即ROC曲线下方的面积。AUC越大，模型越好。
[个人见解] 如果两个模型的ROC曲线有交叉，那么它们的AUC可能差距不大，比如一个是0.900，一个是0.901，此时硬说AUC略大的模型更优并没有太大意义。
ROC曲线有明确的起点和终点，分别是(0,0)和(1,1)，所以AUC最大只能是1，最小是0，连接起点和终点的直线是AUC为0.5的分界线，这条线表示测试样本中正例和反例成对出现，相当于随机猜测。只要模型比随机猜测更好，AUC就应该大于0.5。
ROC曲线和P-R曲线是什么关系？ 参考 豆瓣文章，P-R曲线和ROC曲线本质上是一一对应的关系，相对来看，P-R曲线比ROC曲线更能反应出模型的性能，这是因为样本存在类别不平衡问题。我们设想一下，如果样本中的正例特别少，反例特别多，对ROC曲线的主要影响是，TPR很可能早早就达到了1，使得ROC曲线的右半部分的纵坐标都是1.0，形如下图的(a)和(c)中颜色较深的曲线，对P-R曲线的影响很大，正例非常少，可能导致P一直很低或快速降低（因为预测正确并不容易），R则较快的到达接近1的位置，类似图(d)中的两条曲线的样子，这时，使用P-R曲线更能明显的反应出不同的模型的性能。 有一篇参考文献可以阅读： The Relationship Between Precision-Recall and ROC Curves ，尚未阅读，先在这留个名。
[关于两条曲线关系的理解还很浅，缺少更深入的调研和实践，先写在这里，供日后被拍砖。]
如何做特征筛选？
这个问题是机器学习的老生常谈，在机器学习领域，有一个说法是：特征选取决定了机器学习效果的上届，模型只是在逼近这个上界。这个说法似乎只是为了强调特征的重要性，并没什么实践上的指导意义，可以把它当做理论家的又一句经典的废话。
做特征筛选的主要原因是特征过多，这是实际问题中时常遇到的情况，特征太多会导致机器学习耗时太长，所以需要删除一些没用的特征。
具体的做法可以分为三种，过滤式、包裹式和嵌入式，原汁原味的书面表达可以参考周志华老师的《机器学习》248页。这里简单说说我的理解。
假如一个实际问题给到你，有1000个特征，要做特征筛选，你会怎么做？
最暴力的方法是选取每一个子集，评估模型的预测或分类效果，选择最优的子集。很显然，时间复杂度太高，不可行。既然不能暴力搜索，就退而求其次，改成随机搜索，这就是包裹式特征筛选方法。
包裹式方法的一个明显的缺点是时间开销很大，虽然不是暴力搜索，但是每次评估都要进行模型训练、测试和评估，时间开销依然不小。所以，另外一个特征筛选的思路是不去管模型，只是给每个特征打分，把得分高的特征留下，得分低的特征去除，这就是过滤式，经典的打分方法是Relief，这个算法比较好理解，详细算法可以参考周老师的书或这篇文章。
嵌入式特征筛选是指模型本身自带特征筛选能力，比如带L1正则化的模型（如Lasso）。
[注意：1. 这里的特征筛选都是在有监督学习场景下的，似乎不适用于无监督聚类；2. 有些模型不需要做特征筛选，比如 随机森林。]
如果机器学习的分类或预测效果不佳，如何改善？
这是个开放问题，可以边工作边补充，目前想到的答案有：
（1）选择更多的特征 （2）获取更多的训练和测试数据 （3）使用不同的模型 （4）检查数据是否有错误
模型复杂度和泛化能力之间的关系是怎样的？
关于泛化能力的描述，周志华老师和李航老师有两个不同的视角。
先看李航老师的。
模型复杂度与误差之间的关系如下：
这两条曲线比较好理解，模型复杂度越高，拟合出的曲线和训练样本越接近，误差自然越小，然而恰恰因为过度拟合了样本内数据，导致样本外数据的测试误差反而变大。
所以，训练误差会随模型复杂度的提高而单调下降，但是测试误差与模型复杂度有U型关系。这里，测试误差可以理解为模型的泛化能力，也就是说，泛化能力与模型复杂度之间是U型关系。
再来看周志华老师的。
泛化能力可以分解为三部分：偏差 + 方差 + 噪声。
两张图最大的不同点是下面的图多了一条线：方差曲线。这里的方差不是指样本本身的方差，是指样本发生变化时，模型变化的程度有多大。
另外，下图的横坐标是“训练程度”，上图的横坐标是“模型复杂度”，周志华老师提到的“训练程度”是否包括模型复杂度以外的成分，有待进一步思考。
第三个不同点是，上图的“测试误差”对应了下图的“泛化误差”，我暂时认为这两个概念是金丝相同的。
某大厂面试官提到了一个问题：随着样本数量增加，训练误差和测试误差如何变化？ 我和小伙伴们讨论了一通，得到下面的答案：
简单解释一下第二张图，用极限法，训练样本只有一、两个时，模型很容易覆盖所有训练数据，所以训练误差很小，同时，由于训练数据太少，模型很难从训练数据中提取数据的内在规律，所以测试误差很高，随着数据量增加，训练集的误差会先增加，等到训练集包含了足够多的信息后，训练误差会开始逐渐下降，由于模型对数据规律的拟合效果是越来越好的，所以测试误差会越来越小。
bagging和boosting的原理？
bagging（装袋法）和 boosting（提升法）都是ensemble learning（集成学习）的实现方法。
先说 ensemble。ensemble learning 的核心思想是把若干个弱学习器组合成一个强学习器，那么，为什么弱学习器组合起来就会变强呢？首先，这个结论是经过事实验证的，我们需要认可这个事实。其中的原因有点像概率统计中的大数定理，不同点在于，大数定理中的实验是独立且重复的，但是集成学习中的弱学习器不能是相同的，而应当是好而不同的。这里的“好”是个模糊的概念，可以理解为不坏。用学生来比喻集成学习就是：把若干个考试70、80分的学生组成一个团队，共同答题，就能得99甚至100分。
bagging 在构建弱学习器时，采用有放回的采样，英文里叫 bootstrap方法，每次从train set中做有放回的随机采样，训练得到弱学习器，重复这一过程，得到若干个弱学习器，然后把这些弱学习器组合起来，构成强学习器，用于判定或预测。最常用的bagging类型算法是RandomForest（随机森林）。
PS：对随机采样有个理解错误，bootstrap是有放回的采样，也就是说，每次抽出的样本集里可能包含train set中的重复数据，比如，train set是(1,2,3,4)，有放回随机抽样的结果可能是(1,1,2,3)。
boosting 是采用逐步增强的方式构建强学习器，首先训练出一个弱学习器，然后根据弱学习器的训练误差，再训练出一个弱学习器，把两个弱学习器组合起来（通常是加法），得到增强的学习器，可以得到更小的训练误差，重复上述过程，直到达到迭代次数的上限或误差足够小。常见的boosting算法是AdaBoost和GBDT（含增强版的XGBoost）。
为了便于记忆，可以简单理解为：bagging 是学习器并联，boosting 是学习器串联。
[注意：我们上述提到的弱学习器都是同质的，比如都是决策树，这也是最常用的方法。弱学习器不同质时如何处理，有待进一步学习。]
参考文献：
https://blog.csdn.net/qq_36330643/article/details/77621232
=======未完待续===========
K-means和DBSCAN有什么异同？
如何确定K-means算法中的K值？
不同的特征是否需要都要做归一化？
高斯核函数和多项式核函数分别适用于什么情况？
EM算法的理解？
GBDT算法的理解？
如何用遗传算法生成技术指标？
相关系数的定义？