交替方向乘子法（Alternating Direction Method of Multipliers）

交替方向乘子法（Alternating Direction Method of Multipliers）

作者：凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/

1. 交替方向乘子法简介——Alternating Direction Method of Multipliers

    ADMM 最早分别由 Glowinski & Marrocco 及 Gabay & Mercier 于 1975 年和 1976 年提出，并被 Boyd 等人于 2011 年重新综述并证明其适用于大规模分布式优化问题。

    由于 ADMM 的提出早于大规模分布式计算系统和大规模优化问题的出现，所以在 2011 年以前，这种方法并不广为人知。

    交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）是一种求解具有可分离的凸优化问题的计算框架, 由于其处理速度快，收敛性能好，ADMM适用于求解分布式凸优化问题，特别是统计学习问题。 主要应用在解空间规模很大的情况，强制分块求解，而且解的绝对精度要求不是太高。

    ADMM以先分解再结合的形式求解问题，即先把原问题分解成若干个相对原问题较简单的子问题，再把子问题的解结合起来得到原问题的全局解。

    ADMM也可以看作是对偶分解法和增广拉格朗日乘子法的结合，使该算法有分解性的同时保证了良好的收敛性。

2. 对偶上升法——Dual Ascent

3. 共轭函数与对偶函数——Conjugate Function and Dual Function

4. 对偶分解——Dual Decomposition

5. 增广拉格朗日乘子法——Augmented Lagrangians and the Method of Multipliers

6. 交替方向乘子法——ADMM

7. 尺度化后的交替方向乘子法——Scaled Form

8. 参考文献

[1] Boyd S , Parikh N , Chu E , et al. Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers[J]. Foundations and Trends in Machine Learning, 2011, 3(1):1-122.

[2] 陈庆国. 关于交替方向乘子法一些问题的研究[D].中国计量大学,2018.

[3] 交替方向乘子法（ADMM） - 凯鲁嘎吉 - 博客园

[4] ADMM: http://web.stanford.edu/~boyd/admm.html

[5] Stephen Boyd, Lieven Vandenberghe. Convex Optimization[M]. 世界图书出版公司, 2004.