机器学习中的数学系列-微积分

前言：这里只罗列出一些重要的点，一来是知识点的梳理，二来便于查阅。

1.夹逼定理

英文叫做Squeeze theorem。维基百科是这样定义的：

Let I be an interval having the point a as a limit point. Let f, g, and h be functions defined on I, except possibly at a itself. Suppose that for every x in Inot equal to a, we have:

( g(x)leq f(x)leq h(x) )

and also suppose that:

( lim_{x ightarrow a}{g(x)} = lim_{x ightarrow a}{h(x)} = L )

then:

( lim_{x ightarrow a}{f(x)} = L )

• The functions g and f are said to be lower and upper bounds of f.
• Here, a is not required to lie in the interior of I. Indeed, if a is an endpoint of I , then the above limits are left- or right-hand limits.
• A similar statement holds for infinite intervals: for example, if I = (0,infinite),then the conclusion holds, taking the limits as x -> infinite.

 如果不纠结于数学的严谨性的话，夹逼定理的意思就是上线和下线都逼近于L，那么作为被夹在中间的f(x)也注定会逼近于L。

2.泰勒展开式

这个还是很有用的，它可以把很多复杂的函数近似成容易处理多项式。可导函数f(x)的泰勒展开式是：

作为一种special case,还有一个麦克劳林展开式

这个是在0点展开式的泰勒展开。

一些常用的泰勒展开式是需要记住的，比如-ln(x)在1的展开式是1-x，这个以后补。

3.导数

一阶导数曲为线的斜率，衡量曲线变化的快慢和方向。二阶导数反应曲线的凹凸性。
下面是常用的导数公式，这个主要靠背。

C'=0

(xⁿ)' = nx^n-1

(sin x)^' = cos x

(cos x)^'=-sinx

(a^x)' = a^xlna

(e^x)' = e^x

(log_ax)' = (1/x)log_ae

(ln x)' = (1/x)

(u+v)^' = u^'+v^'

(uv)' = u'v+uv'