今天面试被问到LR的算法的梯度和正则化项，自己不太理解，所以找了一些相关资料，发现LR的算法在梯度下降，正则化和sigmoid函数方面都有很深的研究，期间也发现一些比较好的资料，记录一下。
这篇论文推导了LR和最大熵模型之间的关系
http://www.win-vector.com/dfiles/LogisticRegressionMaxEnt.pdf
这篇文章是论文的翻译和理解，帮助看论文。
https://blog.csdn.net/qq_32742009/article/details/81746955
主要结论：二项分布的最大熵就是二项指数的最大似然估计。
证明方法：假设x服务二项指数分布，求解二项分布的参数，最后x被推出服从二项指数分布，整个推导过程是一个闭环。
疑点是：是为什么要假设x服务二项指数分布呢？（备注：二项指数分布也就是逻辑斯蒂分布）
算法一般是假设正太分布，为什么不直接假设是正太分布呢？
凸函数定义
https://blog.csdn.net/feilong_csdn/article/details/83476277
LR的L1正则化不可导证明：
https://blog.csdn.net/luoyexuge/article/details/79594554
坐标下降法
https://blog.csdn.net/xiaocong1990/article/details/83039802
还有一种近端梯度下降求解的方法：
https://www.zhihu.com/question/38426074/answer/76683857
这篇文章讲解了简单截断，梯度截断和L1正则化之间的关系
https://www.cnblogs.com/yymn/p/4686999.html
梯度截断的lambda=theta时，梯度截断就等于简单截断。
梯度截断的lambda=正无穷且k=1，梯度截断就等于L1正则化。
这篇文章重在讲解思路，相关公式在链接中。另有一些工程优化，值得看。
https://blog.csdn.net/hiwallace/article/details/81237089
https://blog.csdn.net/hiwallace/article/details/81237089