大家都知道对于合理的函数和合理的值域牛顿迭代法是二次收敛(quadratic covergence)的(收敛速度定义见 https://en.wikipedia.org/wiki/Rate_of_convergence ).当然合理的函数是什么函数呢..?似乎需要f'平滑且f'(root)!=0..然而这个界其实不太靠谱啦..总有人觉得对于任意函数都有quadratic convergence..(最典型的代表像我..)那么我们现在来分析一个bound出来..
给定一个大部分地方可导的函数f(x)[我们的要求是至少对于牛顿迭代不会失败],我们设(f(alpha)=0),选择一个初始值(x_0).我们发现,对于寻求函数(f(x)=x^2)的根已经不是二次收敛了,究其原因是因为(f'(alpha=0)=0).我们做一个合理的假设(f'(alpha) ot=0),设(f'(alpha)=t).一个合理的区间([a,b])需要(alphain [a,b])且(xin [a,b],f(x))单增.为什么要这么做是因为这种区间可以通过多点求值与求导求解得到.
现在我们观察:
[egin{align*}
y_t &= f(x_t) \
z_t &= f'(x_t) \
x_1 &= x_0 - frac{y_0}{z_0} \
y_1 &le y_0-(x_0-x_1)z_1 \
&= y_0 - frac{y_0}{z_0}z_1 \
&= y_0left( 1-frac{z_1}{z_0}
ight) \
& vdots \
y_t &le y_{t-1}left( 1-frac{z_t}{z_{t-1}}
ight)
end{align*}
]
注意到我们有(y_tge 0),那么我们再给公式合起来:
[egin{align*}
q_t &= frac{z_t}{z_{t-1}} \
y_t &= y_{t-1}(1-q_t) \
frac{y_t}{y_0} &= prod^{t}_{i=1}(1-q_t) \
frac{z_t}{z_0} &= prod^{t}_{i=1}q_t
end{align*}
]
现在我们给这个斜率加上一个bound,使得(frac{z_t}{z_0}=k),每个(z_i in (0,1)),我们可以发现(frac{y_t}{y_0}le left( 1-sqrt[t]{k} ight)^t)
这就是最后的结果啦..谁给我提供一个这个式子的简化啊TAT..