• RBF、 KNN 与Decision tree


    要做一个classifier,的确不易。面对需要训练的classifier,是否training error越少越好呢?显然不是,因为虽然training error降低了,但test error不见得就会降低,实际表现为一个拐点。如下图:

     

    为了平衡error的权重,我们引入了额外的函数lambda*θ,训练效果由error和 lambda*θ共同评价。下面讨论一下lambda的取值:

     

     (存疑)

      

     通过加入额外的评价函数,我们对模型的训练应该是比较到位的。但是用一个函数对所有样本分类,在样本比较复杂的时候就会有点吃力。

    因此,我们采取多个函数综合评估的方式进行,即RBF(radial base function)

    RBF采取多个正态分布函数进行评估,各函数的均值和方差不一样。

    (待续)

    K-NN 最近邻算法。俗话说物以类聚,人以群分。该算法就是采用离目标点最近的k个邻居,对目标点进行分类。但k值的选取非常关键,而且易受干扰。

     decision tree:决策树,根据不同的决策选择不同的路径。

     

     

  • 相关阅读:
    刚刚开通
    腾讯面试经历2015
    排序之归并排序
    AC自动机
    后缀数组初步
    概率dp初探
    【NOIP2015】反思+题解
    Built-in functions
    poj2528 Mayor's posters(线段树区间覆盖)
    Codeforces #317 C.Lengthening Sticks(数学)
  • 原文地址:https://www.cnblogs.com/Lifehacker/p/notes_about_neural_network.html
Copyright © 2020-2023  润新知