机器学习的数学基础

高等数学

导数定义：

导数和微分的概念

(f'({{x}{0}})=underset{Delta x o 0}{mathop{lim }},frac{f({{x}{0}}+Delta x)-f({{x}_{0}})}{Delta x}) （1）

或者：

(f'({{x}{0}})=underset{x o {{x}{0}}}{mathop{lim }},frac{f(x)-f({{x}{0}})}{x-{{x}{0}}}) （2）

左右导数导数的几何意义和物理意义

函数(f(x))在(x_0)处的左、右导数分别定义为：

左导数：({{{f}'}{-}}({{x}{0}})=underset{Delta x o {{0}^{-}}}{mathop{lim }},frac{f({{x}{0}}+Delta x)-f({{x}{0}})}{Delta x}=underset{x o x_{0}^{-}}{mathop{lim }},frac{f(x)-f({{x}{0}})}{x-{{x}{0}}},(x={{x}_{0}}+Delta x))

右导数：({{{f}'}{+}}({{x}{0}})=underset{Delta x o {{0}^{+}}}{mathop{lim }},frac{f({{x}{0}}+Delta x)-f({{x}{0}})}{Delta x}=underset{x o x_{0}^{+}}{mathop{lim }},frac{f(x)-f({{x}{0}})}{x-{{x}{0}}})

函数的可导性与连续性之间的关系

Th1: 函数(f(x))在(x_0)处可微(Leftrightarrow f(x))在(x_0)处可导

Th2: 若函数在点(x_0)处可导，则(y=f(x))在点(x_0)处连续，反之则不成立。即函数连续不一定可导。

Th3: ({f}'({{x}{0}}))存在(Leftrightarrow {{{f}'}{-}}({{x}{0}})={{{f}'}{+}}({{x}_{0}}))

平面曲线的切线和法线

切线方程 : (y-{{y}{0}}=f'({{x}{0}})(x-{{x}{0}})) 法线方程：(y-{{y}{0}}=-frac{1}{f'({{x}{0}})}(x-{{x}{0}}),f'({{x}_{0}}) e 0)

四则运算法则

设函数(u=u(x)，v=v(x))]在点(x)可导则
(1) ((upm v{)}'={u}'pm {v}') (d(upm v)=dupm dv)
(2)((uv{)}'=u{v}'+v{u}') (d(uv)=udv+vdu)
(3) ((frac{u}{v}{)}'=frac{v{u}'-u{v}'}{{{v}^{2}}}(v e 0)) (d(frac{u}{v})=frac{vdu-udv}{{{v}^{2}}})

基本导数与微分表

(1) (y=c​)（常数） ({y}'=0​) (dy=0​)
(2) (y={{x}^{alpha }}​)((alpha ​)为实数) ({y}'=alpha {{x}^{alpha -1}}​) (dy=alpha {{x}^{alpha -1}}dx​)
(3) (y={{a}^{x}}​) ({y}'={{a}^{x}}ln a​) (dy={{a}^{x}}ln adx​) 特例: (({{{e}}^{x}}{)}'={{{e}}^{x}}​) (d({{{e}}^{x}})={{{e}}^{x}}dx​)
(4) (y={{log }_{a}}x) ({y}'=frac{1}{xln a})

(dy=frac{1}{xln a}dx) 特例:(y=ln x) ((ln x{)}'=frac{1}{x}) (d(ln x)=frac{1}{x}dx)

(5) (y=sin x)

({y}'=cos x) (d(sin x)=cos xdx)

(6) (y=cos x)

({y}'=-sin x) (d(cos x)=-sin xdx)

(7) (y= an x)

({y}'=frac{1}{{{cos }^{2}}x}={{sec }^{2}}x) (d( an x)={{sec }^{2}}xdx)

(8) (y=cot x) ({y}'=-frac{1}{{{sin }^{2}}x}=-{{csc }^{2}}x) (d(cot x)=-{{csc }^{2}}xdx)

(9) (y=sec x) ({y}'=sec x an x)

(d(sec x)=sec x an xdx)

(10) (y=csc x) ({y}'=-csc xcot x)

(d(csc x)=-csc xcot xdx)

(11) (y=arcsin x)

({y}'=frac{1}{sqrt{1-{{x}^{2}}}})

(d(arcsin x)=frac{1}{sqrt{1-{{x}^{2}}}}dx)

(12) (y=arccos x)

({y}'=-frac{1}{sqrt{1-{{x}^{2}}}}) (d(arccos x)=-frac{1}{sqrt{1-{{x}^{2}}}}dx)

(13) (y=arctan x)

({y}'=frac{1}{1+{{x}^{2}}}) (d(arctan x)=frac{1}{1+{{x}^{2}}}dx)

(14) (y=operatorname{arc}cot x)

({y}'=-frac{1}{1+{{x}^{2}}})

(d(operatorname{arc}cot x)=-frac{1}{1+{{x}^{2}}}dx)

(15) (y=shx)

({y}'=chx) (d(shx)=chxdx)

(16) (y=chx)

({y}'=shx) (d(chx)=shxdx)

复合函数，反函数，隐函数以及参数方程所确定的函数的微分法

(1) 反函数的运算法则: 设(y=f(x))在点(x)的某邻域内单调连续，在点(x)处可导且({f}'(x) e 0)，则其反函数在点(x)所对应的(y)处可导，并且有(frac{dy}{dx}=frac{1}{frac{dx}{dy}})

(2) 复合函数的运算法则:若(mu =varphi (x))在点(x)可导,而(y=f(mu ))在对应点$mu (()mu =varphi (x)()可导,则复合函数)y=f(varphi (x))(在点)x(可导,且){y}'={f}'(mu )cdot {varphi }'(x)$

(3) 隐函数导数(frac{dy}{dx})的求法一般有三种方法：

1)方程两边对(x)求导，要记住(y)是(x)的函数，则(y)的函数是(x)的复合函数.例如(frac{1}{y})，({{y}^{2}})，(ln y)，({{{e}}^{y}})等均是(x)的复合函数. 对(x)求导应按复合函数连锁法则做.

2)公式法.由(F(x,y)=0)知 (frac{dy}{dx}=-frac{{{{{F}'}}{x}}(x,y)}{{{{{F}'}}{y}}(x,y)}),其中，({{{F}'}{x}}(x,y))， ({{{F}'}{y}}(x,y))分别表示(F(x,y))对(x)和(y)的偏导数

3)利用微分形式不变性

常用高阶导数公式

（1）(({{a}^{x}}){{,}^{(n)}}={{a}^{x}}{{ln }^{n}}aquad (a>{0})quad quad ({{{e}}^{x}}){{,}^{(n)}}={e}{{,}^{x}}) （2）((sin kx{)}{{,}^{(n)}}={{k}^{n}}sin (kx+ncdot frac{pi }{{2}}))
（3）((cos kx{)}{{,}^{(n)}}={{k}^{n}}cos (kx+ncdot frac{pi }{{2}}))
（4）(({{x}^{m}}){{,}^{(n)}}=m(m-1)cdots (m-n+1){{x}^{m-n}})
（5）((ln x){{,}^{(n)}}={{(-{1})}^{(n-{1})}}frac{(n-{1})!}{{{x}^{n}}})
（6）莱布尼兹公式：若(u(x),,v(x))均(n)阶可导，则 ({{(uv)}^{(n)}}=sumlimits_{i={0}}^{n}{c_{n}^{i}{{u}^{(i)}}{{v}^{(n-i)}}})，其中({{u}^{({0})}}=u)，({{v}^{({0})}}=v)

微分中值定理，泰勒公式

Th1:(费马定理)

若函数(f(x))满足条件：

(1)函数(f(x))在({{x}{0}})的某邻域内有定义，并且在此邻域内恒有 (f(x)le f({{x}{0}}))或(f(x)ge f({{x}_{0}})),

(2) (f(x))在({{x}{0}})处可导,则有 ({f}'({{x}{0}})=0)

Th2:(罗尔定理)

设函数(f(x))满足条件：
(1)在闭区间([a,b])上连续；

(2)在((a,b))内可导；

(3)(f(a)=f(b))；

则在((a,b))内一存在个$xi $，使 ({f}'(xi )=0) Th3: (拉格朗日中值定理)

设函数(f(x))满足条件：

(1)在([a,b])上连续；

(2)在((a,b))内可导；

则在((a,b))内一存在个$xi $，使 (frac{f(b)-f(a)}{b-a}={f}'(xi ))

Th4: (柯西中值定理)

设函数(f(x))，(g(x))满足条件：

(1) 在([a,b])上连续；

(2) 在((a,b))内可导且({f}'(x))，({g}'(x))均存在，且({g}'(x) e 0)

则在((a,b))内存在一个$xi $，使 (frac{f(b)-f(a)}{g(b)-g(a)}=frac{{f}'(xi )}{{g}'(xi )})

洛必达法则

法则Ⅰ ((frac{0}{0})型)

设函数(fleft( x ight),gleft( x ight))满足条件： (underset{x o {{x}{0}}}{mathop{lim }},fleft( x ight)=0,underset{x o {{x}{0}}}{mathop{lim }},gleft( x ight)=0);

(fleft( x ight),gleft( x ight))在({{x}{0}})的邻域内可导，(在({{x}{0}})处可除外)且({g}'left( x ight) e 0);

(underset{x o {{x}_{0}}}{mathop{lim }},frac{{f}'left( x ight)}{{g}'left( x ight)})存在(或$infty $)。

则: (underset{x o {{x}{0}}}{mathop{lim }},frac{fleft( x ight)}{gleft( x ight)}=underset{x o {{x}{0}}}{mathop{lim }},frac{{f}'left( x ight)}{{g}'left( x ight)})。 法则({{I}'}) ((frac{0}{0})型)设函数(fleft( x ight),gleft( x ight))满足条件： (underset{x o infty }{mathop{lim }},fleft( x ight)=0,underset{x o infty }{mathop{lim }},gleft( x ight)=0);

存在一个(X>0),当(left| x ight|>X)时,(fleft( x ight),gleft( x ight))可导,且({g}'left( x ight) e 0);(underset{x o {{x}_{0}}}{mathop{lim }},frac{{f}'left( x ight)}{{g}'left( x ight)})存在(或$infty $)。

则: (underset{x o {{x}{0}}}{mathop{lim }},frac{fleft( x ight)}{gleft( x ight)}=underset{x o {{x}{0}}}{mathop{lim }},frac{{f}'left( x ight)}{{g}'left( x ight)}) 法则Ⅱ((frac{infty }{infty })型) 设函数(fleft( x ight),gleft( x ight))满足条件： $underset{x o {{x}{0}}}{mathop{lim }},fleft( x ight)=infty ,underset{x o {{x}{0}}}{mathop{lim }},gleft( x ight)=infty $; (fleft( x ight),gleft( x ight))在({{x}{0}}) 的邻域内可导(在({{x}{0}})处可除外)且({g}'left( x ight) e 0);(underset{x o {{x}{0}}}{mathop{lim }},frac{{f}'left( x ight)}{{g}'left( x ight)})存在(或$infty $)。则 (underset{x o {{x}{0}}}{mathop{lim }},frac{fleft( x ight)}{gleft( x ight)}=underset{x o {{x}_{0}}}{mathop{lim }},frac{{f}'left( x ight)}{{g}'left( x ight)}.)同理法则({I{I}'})((frac{infty }{infty })型)仿法则({{I}'})可写出。

泰勒公式

设函数(f(x))在点({{x}{0}})处的某邻域内具有(n+1)阶导数，则对该邻域内异于({{x}{0}})的任意点(x)，在({{x}{0}})与(x)之间至少存在 一个$xi $，使得： $f(x)=f({{x}{0}})+{f}'({{x}{0}})(x-{{x}{0}})+frac{1}{2!}{f}''({{x}{0}}){{(x-{{x}{0}})}^{2}}+cdots $ (+frac{{{f}^{(n)}}({{x}{0}})}{n!}{{(x-{{x}{0}})}^{n}}+{{R}{n}}(x)) 其中 ({{R}{n}}(x)=frac{{{f}^{(n+1)}}(xi )}{(n+1)!}{{(x-{{x}{0}})}^{n+1}})称为(f(x))在点({{x}{0}})处的(n)阶泰勒余项。

令({{x}{0}}=0)，则(n)阶泰勒公式 (f(x)=f(0)+{f}'(0)x+frac{1}{2!}{f}''(0){{x}^{2}}+cdots +frac{{{f}^{(n)}}(0)}{n!}{{x}^{n}}+{{R}{n}}(x))……(1) 其中 ({{R}_{n}}(x)=frac{{{f}^{(n+1)}}(xi )}{(n+1)!}{{x}^{n+1}})，$xi (在0与)x$之间.(1)式称为麦克劳林公式

常用五种函数在({{x}_{0}}=0)处的泰勒公式

(1) ({{{e}}^{x}}=1+x+frac{1}{2!}{{x}^{2}}+cdots +frac{1}{n!}{{x}^{n}}+frac{{{x}^{n+1}}}{(n+1)!}{{e}^{xi }})

或 (=1+x+frac{1}{2!}{{x}^{2}}+cdots +frac{1}{n!}{{x}^{n}}+o({{x}^{n}}))

(2) (sin x=x-frac{1}{3!}{{x}^{3}}+cdots +frac{{{x}^{n}}}{n!}sin frac{npi }{2}+frac{{{x}^{n+1}}}{(n+1)!}sin (xi +frac{n+1}{2}pi ))

或 (=x-frac{1}{3!}{{x}^{3}}+cdots +frac{{{x}^{n}}}{n!}sin frac{npi }{2}+o({{x}^{n}}))

(3) (cos x=1-frac{1}{2!}{{x}^{2}}+cdots +frac{{{x}^{n}}}{n!}cos frac{npi }{2}+frac{{{x}^{n+1}}}{(n+1)!}cos (xi +frac{n+1}{2}pi ))

或 (=1-frac{1}{2!}{{x}^{2}}+cdots +frac{{{x}^{n}}}{n!}cos frac{npi }{2}+o({{x}^{n}}))

(4) (ln (1+x)=x-frac{1}{2}{{x}^{2}}+frac{1}{3}{{x}^{3}}-cdots +{{(-1)}^{n-1}}frac{{{x}^{n}}}{n}+frac{{{(-1)}^{n}}{{x}^{n+1}}}{(n+1){{(1+xi )}^{n+1}}})

或 (=x-frac{1}{2}{{x}^{2}}+frac{1}{3}{{x}^{3}}-cdots +{{(-1)}^{n-1}}frac{{{x}^{n}}}{n}+o({{x}^{n}}))

(5) ({{(1+x)}^{m}}=1+mx+frac{m(m-1)}{2!}{{x}^{2}}+cdots +frac{m(m-1)cdots (m-n+1)}{n!}{{x}^{n}}) (+frac{m(m-1)cdots (m-n+1)}{(n+1)!}{{x}^{n+1}}{{(1+xi )}^{m-n-1}})

或 ${{(1+x)}^{{m}}=1+mx+frac{m(m-1)}{2!}{{x}}{2}}+cdots $ (+frac{m(m-1)cdots (m-n+1)}{n!}{{x}^{n}}+o({{x}^{n}}))

函数单调性的判断

Th1: 设函数(f(x))在((a,b))区间内可导，如果对(forall xin (a,b))，都有(f,'(x)>0)（或(f,'(x)<0)），则函数(f(x))在((a,b))内是单调增加的（或单调减少）

Th2: （取极值的必要条件）设函数(f(x))在({{x}{0}})处可导，且在({{x}{0}})处取极值，则(f,'({{x}_{0}})=0)。

Th3: （取极值的第一充分条件）设函数(f(x))在({{x}{0}})的某一邻域内可微，且(f,'({{x}{0}})=0)（或(f(x))在({{x}{0}})处连续，但(f,'({{x}{0}}))不存在。） (1)若当(x)经过({{x}{0}})时，(f,'(x))由“+”变“-”，则(f({{x}{0}}))为极大值； (2)若当(x​)经过({{x}{0}}​)时，(f,'(x))由“-”变“+”，则(f({{x}{0}}))为极小值； (3)若(f,'(x))经过(x={{x}{0}})的两侧不变号，则(f({{x}{0}}))不是极值。

Th4: (取极值的第二充分条件)设(f(x))在点({{x}{0}})处有(f''(x) e 0)，且(f,'({{x}{0}})=0)，则 当(f','({{x}{0}})<0)时，(f({{x}{0}}))为极大值； 当(f','({{x}{0}})>0)时，(f({{x}{0}}))为极小值。 注：如果(f','({{x}_{0}})<0)，此方法失效。

渐近线的求法

(1)水平渐近线 若(underset{x o +infty }{mathop{lim }},f(x)=b)，或(underset{x o -infty }{mathop{lim }},f(x)=b)，则

(y=b)称为函数(y=f(x))的水平渐近线。

(2)铅直渐近线 若$underset{x o x_{0}^{-}}{mathop{lim }},f(x)=infty (，或)underset{x o x_{0}^{+}}{mathop{lim }},f(x)=infty $，则

(x={{x}_{0}})称为(y=f(x))的铅直渐近线。

(3)斜渐近线 若(a=underset{x o infty }{mathop{lim }},frac{f(x)}{x},quad b=underset{x o infty }{mathop{lim }},[f(x)-ax])，则 (y=ax+b)称为(y=f(x))的斜渐近线。

函数凹凸性的判断

Th1: (凹凸性的判别定理）若在I上(f''(x)<0)（或(f''(x)>0)），则(f(x))在I上是凸的（或凹的）。

Th2: (拐点的判别定理1)若在({{x}{0}})处(f''(x)=0)，（或(f''(x))不存在），当(x)变动经过({{x}{0}})时，(f''(x))变号，则(({{x}{0}},f({{x}{0}})))为拐点。

Th3: (拐点的判别定理2)设(f(x))在({{x}{0}})点的某邻域内有三阶导数，且(f''(x)=0)，(f'''(x) e 0)，则(({{x}{0}},f({{x}_{0}})))为拐点。

弧微分

(dS=sqrt{1+y{{'}^{2}}}dx)

曲率

曲线(y=f(x))在点((x,y))处的曲率(k=frac{left| y'' ight|}{{{(1+y{{'}^{2}})}^{ frac{3}{2}}}})。 对于参数方程(left{ egin{align} & x=varphi (t) & y=psi (t) end{align} ight.,)(k=frac{left| varphi '(t)psi ''(t)-varphi ''(t)psi '(t) ight|}{{{[varphi {{'}^{2}}(t)+psi {{'}^{2}}(t)]}^{ frac{3}{2}}}})。

曲率半径

曲线在点(M)处的曲率(k(k e 0))与曲线在点(M)处的曲率半径$ ho (有如下关系：) ho =frac{1}{k}$。

线性代数

行列式

1.行列式按行（列）展开定理

(1) 设(A = ( a_{{ij}} ){n imes n})，则：(a{i1}A_{j1} +a_{i2}A_{j2} + cdots + a_{{in}}A_{{jn}} = egin{cases}|A|,i=j 0,i eq jend{cases})

或(a_{1i}A_{1j} + a_{2i}A_{2j} + cdots + a_{{ni}}A_{{nj}} = egin{cases}|A|,i=j 0,i eq jend{cases})即 (AA^{} = A^{}A = left| A ight|E,)其中：(A^{*} = egin{pmatrix} A_{11} & A_{12} & ldots & A_{1n} A_{21} & A_{22} & ldots & A_{2n} ldots & ldots & ldots & ldots A_{n1} & A_{n2} & ldots & A_{{nn}} end{pmatrix} = (A_{{ji}}) = {(A_{{ij}})}^{T})

(D_{n} = egin{vmatrix} 1 & 1 & ldots & 1 x_{1} & x_{2} & ldots & x_{n} ldots & ldots & ldots & ldots x_{1}^{n - 1} & x_{2}^{n - 1} & ldots & x_{n}^{n - 1} end{vmatrix} = prod_{1 leq j < i leq n}^{},(x_{i} - x_{j}))

(2) 设(A,B)为(n)阶方阵，则(left| {AB} ight| = left| A ight|left| B ight| = left| B ight|left| A ight| = left| {BA} ight|)，但(left| A pm B ight| = left| A ight| pm left| B ight|)不一定成立。

(3) (left| {kA} ight| = k^{n}left| A ight|),(A)为(n)阶方阵。

(4) 设(A)为(n)阶方阵，(|A^{T}| = |A|;|A^{- 1}| = |A|^{- 1})（若(A)可逆），(|A^{*}| = |A|^{n - 1})

(n geq 2)

(5) (left| egin{matrix} & {Aquad O} & {Oquad B} end{matrix} ight| = left| egin{matrix} & {Aquad C} & {Oquad B} end{matrix} ight| = left| egin{matrix} & {Aquad O} & {Cquad B} end{matrix} ight| =| A||B|) ，(A,B)为方阵，但(left| egin{matrix} {O} & A_{m imes m} B_{n imes n} & { O} end{matrix} ight| = ({- 1)}^{{mn}}|A||B|) 。

(6) 范德蒙行列式(D_{n} = egin{vmatrix} 1 & 1 & ldots & 1 x_{1} & x_{2} & ldots & x_{n} ldots & ldots & ldots & ldots x_{1}^{n - 1} & x_{2}^{n 1} & ldots & x_{n}^{n - 1} end{vmatrix} = prod_{1 leq j < i leq n}^{},(x_{i} - x_{j}))

设(A)是(n)阶方阵，(lambda_{i}(i = 1,2cdots,n))是(A)的(n)个特征值，则 (|A| = prod_{i = 1}^{n}lambda_{i}​)

矩阵的线性运算

矩阵：(m imes n)个数(a_{{ij}})排成(m)行(n)列的表格(egin{bmatrix} a_{11}quad a_{12}quadcdotsquad a_{1n} a_{21}quad a_{22}quadcdotsquad a_{2n} quadcdotscdotscdotscdotscdots a_{m1}quad a_{m2}quadcdotsquad a_{{mn}} end{bmatrix}) 称为矩阵，简记为(A)，或者(left( a_{{ij}} ight)_{m imes n}) 。若(m = n)，则称(A)是(n)阶矩阵或(n)阶方阵。

矩阵的加法

设(A = (a_{{ij}}),B = (b_{{ij}}))是两个(m imes n)矩阵，则(m imes n) 矩阵(C = c_{{ij}}) = a_{{ij}} + b_{{ij}})称为矩阵(A)与(B)的和，记为(A + B = C) 。

矩阵的数乘

设(A = (a_{{ij}}))是(m imes n)矩阵，(k)是一个常数，则(m imes n)矩阵((ka_{{ij}}))称为数(k)与矩阵(A)的数乘，记为({kA})。

矩阵的乘法

设(A = (a_{{ij}}))是(m imes n)矩阵，(B = (b_{{ij}}))是(n imes s)矩阵，那么(m imes s)矩阵(C = (c_{{ij}}))，其中(c_{{ij}} = a_{i1}b_{1j} + a_{i2}b_{2j} + cdots + a_{{in}}b_{{nj}} = sum_{k =1}^{n}{a_{{ik}}b_{{kj}}})称为({AB})的乘积，记为(C = AB) 。

(mathbf{A}^{mathbf{T}})、(mathbf{A}^{mathbf{-1}})、(mathbf{A}^{mathbf{*}})三者之间的关系

(1) ({(A^{T})}^{T} = A,{(AB)}^{T} = B^{T}A^{T},{(kA)}^{T} = kA^{T},{(A pm B)}^{T} = A^{T} pm B^{T})

(2) (left( A^{- 1} ight)^{- 1} = A,left( {AB} ight)^{- 1} = B^{- 1}A^{- 1},left( {kA} ight)^{- 1} = frac{1}{k}A^{- 1},)

但 ({(A pm B)}^{- 1} = A^{- 1} pm B^{- 1})不一定成立。

(3) (left( A^{} ight)^{} = |A|^{n - 2} A (n geq 3))，(left({AB} ight)^{} = B^{}A^{},) (left( {kA} ight)^{} = k^{n -1}A^{*}{ }left( n geq 2 ight))

但(left( A pm B ight)^{} = A^{} pm B^{*})不一定成立。

(4) ({(A^{- 1})}^{T} = {(A^{T})}^{- 1}, left( A^{- 1} ight)^{} ={(AA^{})}^{- 1},{(A^{})}^{T} = left( A^{T} ight)^{})

有关(mathbf{A}^{mathbf{*}})的结论

(1) (AA^{} = A^{}A = |A|E)

(2) (|A^{}| = |A|^{n - 1} (n geq 2), {(kA)}^{} = k^{n -1}A^{},{{ }left( A^{} ight)}^{*} = |A|^{n - 2}A(n geq 3))

(3) 若(A)可逆，则(A^{} = |A|A^{- 1},{(A^{})}^{*} = frac{1}{|A|}A)

(4) 若(A​)为(n​)阶方阵，则：

(r(A^*)=egin{cases}n,quad r(A)=n 1,quad r(A)=n-1 0,quad r(A)<n-1end{cases})

有关(mathbf{A}^{mathbf{- 1}})的结论

(A)可逆(Leftrightarrow AB = E; Leftrightarrow |A| eq 0; Leftrightarrow r(A) = n;)

(Leftrightarrow A)可以表示为初等矩阵的乘积；(Leftrightarrow A;Leftrightarrow Ax = 0)。

有关矩阵秩的结论

(1) 秩(r(A))=行秩=列秩；

(2) (r(A_{m imes n}) leq min(m,n);)

(3) (A eq 0 Rightarrow r(A) geq 1)；

(4) (r(A pm B) leq r(A) + r(B);)

(5) 初等变换不改变矩阵的秩

(6) (r(A) + r(B) - n leq r(AB) leq min(r(A),r(B)),)特别若(AB = O) 则：(r(A) + r(B) leq n)

(7) 若(A^{- 1})存在(Rightarrow r(AB) = r(B);) 若(B^{- 1})存在 (Rightarrow r(AB) = r(A);)

若(r(A_{m imes n}) = n Rightarrow r(AB) = r(B);) 若(r(A_{m imes s}) = nRightarrow r(AB) = rleft( A ight))。

(8) (r(A_{m imes s}) = n Leftrightarrow Ax = 0)只有零解

分块求逆公式

(egin{pmatrix} A & O O & B end{pmatrix}^{- 1} = egin{pmatrix} A^{-1} & O O & B^{- 1} end{pmatrix})； (egin{pmatrix} A & C O & B \end{pmatrix}^{- 1} = egin{pmatrix} A^{- 1}& - A^{- 1}CB^{- 1} O & B^{- 1} end{pmatrix})；

(egin{pmatrix} A & O C & B end{pmatrix}^{- 1} = egin{pmatrix} A^{- 1}&{O} - B^{- 1}CA^{- 1} & B^{- 1} \end{pmatrix})； (egin{pmatrix} O & A B & O end{pmatrix}^{- 1} =egin{pmatrix} O & B^{- 1} A^{- 1} & O end{pmatrix})

这里(A)，(B)均为可逆方阵。

向量

有关向量组的线性表示

(1)(alpha_{1},alpha_{2},cdots,alpha_{s})线性相关(Leftrightarrow)至少有一个向量可以用其余向量线性表示。

(2)(alpha_{1},alpha_{2},cdots,alpha_{s})线性无关，(alpha_{1},alpha_{2},cdots,alpha_{s})，(eta)线性相关(Leftrightarrow eta)可以由(alpha_{1},alpha_{2},cdots,alpha_{s})唯一线性表示。

(3) (eta)可以由(alpha_{1},alpha_{2},cdots,alpha_{s})线性表示 (Leftrightarrow r(alpha_{1},alpha_{2},cdots,alpha_{s}) =r(alpha_{1},alpha_{2},cdots,alpha_{s},eta)) 。

有关向量组的线性相关性

(1)部分相关，整体相关；整体无关，部分无关.

(2) ① (n)个(n)维向量 (alpha_{1},alpha_{2}cdotsalpha_{n})线性无关(Leftrightarrow left|leftlbrack alpha_{1}alpha_{2}cdotsalpha_{n} ight brack ight| eq0)， (n)个(n)维向量(alpha_{1},alpha_{2}cdotsalpha_{n})线性相关 (Leftrightarrow |lbrackalpha_{1},alpha_{2},cdots,alpha_{n} brack| = 0) 。

② (n + 1)个(n)维向量线性相关。

③ 若(alpha_{1},alpha_{2}cdotsalpha_{S})线性无关，则添加分量后仍线性无关；或一组向量线性相关，去掉某些分量后仍线性相关。

有关向量组的线性表示

(1) (alpha_{1},alpha_{2},cdots,alpha_{s})线性相关(Leftrightarrow)至少有一个向量可以用其余向量线性表示。

(2) (alpha_{1},alpha_{2},cdots,alpha_{s})线性无关，(alpha_{1},alpha_{2},cdots,alpha_{s})，(eta)线性相关(Leftrightarroweta) 可以由(alpha_{1},alpha_{2},cdots,alpha_{s})唯一线性表示。

(3) (eta)可以由(alpha_{1},alpha_{2},cdots,alpha_{s})线性表示 (Leftrightarrow r(alpha_{1},alpha_{2},cdots,alpha_{s}) =r(alpha_{1},alpha_{2},cdots,alpha_{s},eta))

向量组的秩与矩阵的秩之间的关系

设(r(A_{m imes n}) =r)，则(A)的秩(r(A))与(A)的行列向量组的线性相关性关系为：

(1) 若(r(A_{m imes n}) = r = m)，则(A)的行向量组线性无关。

(2) 若(r(A_{m imes n}) = r < m)，则(A)的行向量组线性相关。

(3) 若(r(A_{m imes n}) = r = n)，则(A)的列向量组线性无关。

(4) 若(r(A_{m imes n}) = r < n)，则(A)的列向量组线性相关。

(mathbf{n})维向量空间的基变换公式及过渡矩阵

若(alpha_{1},alpha_{2},cdots,alpha_{n})与(eta_{1},eta_{2},cdots,eta_{n})是向量空间(V)的两组基，则基变换公式为：

((eta_{1},eta_{2},cdots,eta_{n}) = (alpha_{1},alpha_{2},cdots,alpha_{n})egin{bmatrix} c_{11}& c_{12}& cdots & c_{1n} c_{21}& c_{22}&cdots & c_{2n} cdots & cdots & cdots & cdots c_{n1}& c_{n2} & cdots & c_{{nn}} \end{bmatrix} = (alpha_{1},alpha_{2},cdots,alpha_{n})C)

其中(C)是可逆矩阵，称为由基(alpha_{1},alpha_{2},cdots,alpha_{n})到基(eta_{1},eta_{2},cdots,eta_{n})的过渡矩阵。

坐标变换公式

若向量(gamma)在基(alpha_{1},alpha_{2},cdots,alpha_{n})与基(eta_{1},eta_{2},cdots,eta_{n})的坐标分别是 (X = {(x_{1},x_{2},cdots,x_{n})}^{T})，

(Y = left( y_{1},y_{2},cdots,y_{n} ight)^{T}) 即： (gamma =x_{1}alpha_{1} + x_{2}alpha_{2} + cdots + x_{n}alpha_{n} = y_{1}eta_{1} +y_{2}eta_{2} + cdots + y_{n}eta_{n})，则向量坐标变换公式为(X = CY) 或(Y = C^{- 1}X)，其中(C)是从基(alpha_{1},alpha_{2},cdots,alpha_{n})到基(eta_{1},eta_{2},cdots,eta_{n})的过渡矩阵。

向量的内积

((alpha,eta) = a_{1}b_{1} + a_{2}b_{2} + cdots + a_{n}b_{n} = alpha^{T}eta = eta^{T}alpha)

Schmidt正交化

若(alpha_{1},alpha_{2},cdots,alpha_{s})线性无关，则可构造(eta_{1},eta_{2},cdots,eta_{s})使其两两正交，且(eta_{i})仅是(alpha_{1},alpha_{2},cdots,alpha_{i})的线性组合((i= 1,2,cdots,n))，再把(eta_{i})单位化，记(gamma_{i} =frac{eta_{i}}{left| eta_{i} ight|})，则(gamma_{1},gamma_{2},cdots,gamma_{i})是规范正交向量组。其中 (eta_{1} = alpha_{1})， (eta_{2} = alpha_{2} -frac{(alpha_{2},eta_{1})}{(eta_{1},eta_{1})}eta_{1}) ， (eta_{3} =alpha_{3} - frac{(alpha_{3},eta_{1})}{(eta_{1},eta_{1})}eta_{1} -frac{(alpha_{3},eta_{2})}{(eta_{2},eta_{2})}eta_{2}) ，

............

(eta_{s} = alpha_{s} - frac{(alpha_{s},eta_{1})}{(eta_{1},eta_{1})}eta_{1} - frac{(alpha_{s},eta_{2})}{(eta_{2},eta_{2})}eta_{2} - cdots - frac{(alpha_{s},eta_{s - 1})}{(eta_{s - 1},eta_{s - 1})}eta_{s - 1})

正交基及规范正交基

向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向量，就称其为规范正交基。

线性方程组

克莱姆法则

线性方程组(egin{cases} a_{11}x_{1} + a_{12}x_{2} + cdots +a_{1n}x_{n} = b_{1} a_{21}x_{1} + a_{22}x_{2} + cdots + a_{2n}x_{n} =b_{2} quadcdotscdotscdotscdotscdotscdotscdotscdotscdots a_{n1}x_{1} + a_{n2}x_{2} + cdots + a_{{nn}}x_{n} = b_{n} end{cases})，如果系数行列式(D = left| A ight| eq 0)，则方程组有唯一解，(x_{1} = frac{D_{1}}{D},x_{2} = frac{D_{2}}{D},cdots,x_{n} =frac{D_{n}}{D})，其中(D_{j})是把(D)中第(j)列元素换成方程组右端的常数列所得的行列式。

(n)阶矩阵(A)可逆(Leftrightarrow Ax = 0)只有零解。(Leftrightarrowforall b,Ax = b)总有唯一解，一般地，(r(A_{m imes n}) = n Leftrightarrow Ax= 0)只有零解。

非奇次线性方程组有解的充分必要条件，线性方程组解的性质和解的结构

(1) 设(A)为(m imes n)矩阵，若(r(A_{m imes n}) = m)，则对(Ax =b)而言必有(r(A) = r(A vdots b) = m)，从而(Ax = b)有解。

(2) 设(x_{1},x_{2},cdots x_{s})为(Ax = b)的解，则(k_{1}x_{1} + k_{2}x_{2}cdots + k_{s}x_{s})当(k_{1} + k_{2} + cdots + k_{s} = 1)时仍为(Ax =b)的解；但当(k_{1} + k_{2} + cdots + k_{s} = 0)时，则为(Ax =0)的解。特别(frac{x_{1} + x_{2}}{2})为(Ax = b)的解；(2x_{3} - (x_{1} +x_{2}))为(Ax = 0)的解。

(3) 非齐次线性方程组({Ax} = b)无解(Leftrightarrow r(A) + 1 =r(overline{A}) Leftrightarrow b)不能由(A)的列向量(alpha_{1},alpha_{2},cdots,alpha_{n})线性表示。

奇次线性方程组的基础解系和通解，解空间，非奇次线性方程组的通解

(1) 齐次方程组({Ax} = 0)恒有解(必有零解)。当有非零解时，由于解向量的任意线性组合仍是该齐次方程组的解向量，因此({Ax}= 0)的全体解向量构成一个向量空间，称为该方程组的解空间，解空间的维数是(n - r(A))，解空间的一组基称为齐次方程组的基础解系。

(2) (eta_{1},eta_{2},cdots,eta_{t})是({Ax} = 0)的基础解系，即：

(eta_{1},eta_{2},cdots,eta_{t})是({Ax} = 0)的解；

(eta_{1},eta_{2},cdots,eta_{t})线性无关；

({Ax} = 0)的任一解都可以由(eta_{1},eta_{2},cdots,eta_{t})线性表出. (k_{1}eta_{1} + k_{2}eta_{2} + cdots + k_{t}eta_{t})是({Ax} = 0)的通解，其中(k_{1},k_{2},cdots,k_{t})是任意常数。

矩阵的特征值和特征向量

矩阵的特征值和特征向量的概念及性质

(1) 设(lambda)是(A)的一个特征值，则 ({kA},{aA} + {bE},A^{2},A^{m},f(A),A^{T},A^{- 1},A^{*})有一个特征值分别为 ({kλ},{aλ} + b,lambda^{2},lambda^{m},f(lambda),lambda,lambda^{- 1},frac{|A|}{lambda},)且对应特征向量相同（(A^{T}) 例外）。

(2)若(lambda_{1},lambda_{2},cdots,lambda_{n})为(A)的(n)个特征值，则(sum_{i= 1}^{n}lambda_{i} = sum_{i = 1}^{n}a_{{ii}},prod_{i = 1}^{n}lambda_{i}= |A|) ,从而(|A| eq 0 Leftrightarrow A)没有特征值。

(3)设(lambda_{1},lambda_{2},cdots,lambda_{s})为(A)的(s)个特征值，对应特征向量为(alpha_{1},alpha_{2},cdots,alpha_{s})，

若: (alpha = k_{1}alpha_{1} + k_{2}alpha_{2} + cdots + k_{s}alpha_{s}) ,

则: (A^{n}alpha = k_{1}A^{n}alpha_{1} + k_{2}A^{n}alpha_{2} + cdots +k_{s}A^{n}alpha_{s} = k_{1}lambda_{1}^{n}alpha_{1} +k_{2}lambda_{2}^{n}alpha_{2} + cdots k_{s}lambda_{s}^{n}alpha_{s}) 。

相似变换、相似矩阵的概念及性质

(1) 若(A sim B)，则

(A^{T} sim B^{T},A^{- 1} sim B^{- 1},,A^{} sim B^{})

(|A| = |B|,sum_{i = 1}^{n}A_{{ii}} = sum_{i =1}^{n}b_{{ii}},r(A) = r(B))

(|lambda E - A| = |lambda E - B|)，对(foralllambda)成立

矩阵可相似对角化的充分必要条件

(1)设(A)为(n)阶方阵，则(A)可对角化(Leftrightarrow)对每个(k_{i})重根特征值(lambda_{i})，有(n-r(lambda_{i}E - A) = k_{i})

(2) 设(A)可对角化，则由(P^{- 1}{AP} = Lambda,)有(A = {PΛ}P^{-1})，从而(A^{n} = PLambda^{n}P^{- 1})

(3) 重要结论

若(A sim B,C sim D​)，则(egin{bmatrix} A & O O & C \end{bmatrix} sim egin{bmatrix} B & O O & D \end{bmatrix}​).

若(A sim B)，则(f(A) sim f(B),left| f(A) ight| sim left| f(B) ight|)，其中(f(A))为关于(n)阶方阵(A)的多项式。

若(A)为可对角化矩阵，则其非零特征值的个数(重根重复计算)＝秩((A))

实对称矩阵的特征值、特征向量及相似对角阵

(1)相似矩阵：设(A,B)为两个(n)阶方阵，如果存在一个可逆矩阵(P)，使得(B =P^{- 1}{AP})成立，则称矩阵(A)与(B)相似，记为(A sim B)。

(2)相似矩阵的性质：如果(A sim B)则有：

(A^{T} sim B^{T})

(A^{- 1} sim B^{- 1}) （若(A)，(B)均可逆）

(A^{k} sim B^{k}) （(k)为正整数）

(left| {λE} - A ight| = left| {λE} - B ight|)，从而(A,B) 有相同的特征值

(left| A ight| = left| B ight|)，从而(A,B)同时可逆或者不可逆

秩(left( A ight) =)秩(left( B ight),left| {λE} - A ight| =left| {λE} - B ight|)，(A,B)不一定相似

二次型

(mathbf{n})个变量(mathbf{x}{mathbf{1}}mathbf{,}mathbf{x}{mathbf{2}}mathbf{,cdots,}mathbf{x}_{mathbf{n}})的二次齐次函数

(f(x_{1},x_{2},cdots,x_{n}) = sum_{i = 1}^{n}{sum_{j =1}^{n}{a_{{ij}}x_{i}y_{j}}})，其中(a_{{ij}} = a_{{ji}}(i,j =1,2,cdots,n))，称为(n)元二次型，简称二次型. 若令(x = egin{bmatrix}x_{1} x_{1} vdots x_{n} end{bmatrix},A = egin{bmatrix} a_{11}& a_{12}& cdots & a_{1n} a_{21}& a_{22}& cdots & a_{2n} cdots &cdots &cdots &cdots a_{n1}& a_{n2} & cdots & a_{{nn}} \end{bmatrix}),这二次型(f)可改写成矩阵向量形式(f =x^{T}{Ax})。其中(A)称为二次型矩阵，因为(a_{{ij}} =a_{{ji}}(i,j =1,2,cdots,n))，所以二次型矩阵均为对称矩阵，且二次型与对称矩阵一一对应，并把矩阵(A)的秩称为二次型的秩。

惯性定理，二次型的标准形和规范形

(1) 惯性定理

对于任一二次型，不论选取怎样的合同变换使它化为仅含平方项的标准型，其正负惯性指数与所选变换无关，这就是所谓的惯性定理。

(2) 标准形

二次型(f = left( x_{1},x_{2},cdots,x_{n} ight) =x^{T}{Ax})经过合同变换(x = {Cy})化为(f = x^{T}{Ax} =y^{T}C^{T}{AC})

(y = sum_{i = 1}^{r}{d_{i}y_{i}^{2}})称为 (f(r leq n))的标准形。在一般的数域内，二次型的标准形不是唯一的，与所作的合同变换有关，但系数不为零的平方项的个数由(r(A))唯一确定。

(3) 规范形

任一实二次型(f)都可经过合同变换化为规范形(f = z_{1}^{2} + z_{2}^{2} + cdots z_{p}^{2} - z_{p + 1}^{2} - cdots -z_{r}^{2})，其中(r)为(A)的秩，(p)为正惯性指数，(r -p)为负惯性指数，且规范型唯一。

用正交变换和配方法化二次型为标准形，二次型及其矩阵的正定性

设(A)正定(Rightarrow {kA}(k > 0),A^{T},A^{- 1},A^{*})正定；(|A| >0),(A)可逆；(a_{{ii}} > 0)，且(|A_{{ii}}| > 0)

(A)，(B)正定(Rightarrow A +B)正定，但({AB})，({BA})不一定正定

(A)正定(Leftrightarrow f(x) = x^{T}{Ax} > 0,forall x eq 0)

(Leftrightarrow A)的各阶顺序主子式全大于零

(Leftrightarrow A)的所有特征值大于零

(Leftrightarrow A)的正惯性指数为(n)

(Leftrightarrow)存在可逆阵(P)使(A = P^{T}P)

(Leftrightarrow)存在正交矩阵(Q)，使(Q^{T}{AQ} = Q^{- 1}{AQ} =egin{pmatrix} lambda_{1} & & egin{matrix} & & end{matrix} &ddots & & & lambda_{n} end{pmatrix},)

其中(lambda_{i} > 0,i = 1,2,cdots,n.)正定(Rightarrow {kA}(k >0),A^{T},A^{- 1},A^{*})正定； (|A| > 0,A)可逆；(a_{{ii}} >0)，且(|A_{{ii}}| > 0) 。

概率论和数理统计

随机事件和概率

事件的关系与运算

(1) 子事件：(A subset B)，若(A)发生，则(B)发生。

(2) 相等事件：(A = B)，即(A subset B)，且(B subset A) 。

(3) 和事件：(Aigcup B)（或(A + B)），(A)与(B)中至少有一个发生。

(4) 差事件：(A - B)，(A)发生但(B)不发生。

(5) 积事件：(Aigcap B)（或({AB})），(A)与(B)同时发生。

(6) 互斥事件（互不相容）：(Aigcap B)=(varnothing)。

(7) 互逆事件（对立事件）： (Aigcap B=varnothing ,Aigcup B=Omega ,A=ar{B},B=ar{A}) 2.运算律 (1) 交换律：(Aigcup B=Bigcup A,Aigcap B=Bigcap A) (2) 结合律：((Aigcup B)igcup C=Aigcup (Bigcup C)) (3) 分配律：((Aigcap B)igcap C=Aigcap (Bigcap C)) 3.德$centerdot $摩根律

(overline{Aigcup B}=ar{A}igcap ar{B}) (overline{Aigcap B}=ar{A}igcup ar{B}) 4.完全事件组

({{A}{1}}{{A}{2}}cdots {{A}{n}})两两互斥，且和事件为必然事件，即${{A}{i}}igcap {{A}_{j}}=varnothing, i e j ,underset{i=1}{overset{n}{mathop igcup }},=Omega $

概率的基本公式

(1)条件概率: (P(B|A)=frac{P(AB)}{P(A)}),表示(A)发生的条件下，(B)发生的概率。
(2)全概率公式： $P(A)=sumlimits_{i=1}^{n}{P(A|{{B}{i}})P({{B}{i}}),{{B}{i}}{{B}{j}}}=varnothing ,i e j,underset{i=1}{overset{n}{mathop{igcup }}},{{B}_{i}}=Omega $
(3) Bayes公式：

(P({{B}{j}}|A)=frac{P(A|{{B}{j}})P({{B}{j}})}{sumlimits{i=1}^{n}{P(A|{{B}{i}})P({{B}{i}})}},j=1,2,cdots ,n) 注：上述公式中事件({{B}{i}})的个数可为可列个。 (4)乘法公式： (P({{A}{1}}{{A}{2}})=P({{A}{1}})P({{A}{2}}|{{A}{1}})=P({{A}{2}})P({{A}{1}}|{{A}{2}})) (P({{A}{1}}{{A}{2}}cdots {{A}{n}})=P({{A}{1}})P({{A}{2}}|{{A}{1}})P({{A}{3}}|{{A}{1}}{{A}{2}})cdots P({{A}{n}}|{{A}{1}}{{A}{2}}cdots {{A}{n-1}}))

事件的独立性 (1)(A)与(B)相互独立(Leftrightarrow P(AB)=P(A)P(B)) (2)(A)，(B)，(C)两两独立 (Leftrightarrow P(AB)=P(A)P(B));(P(BC)=P(B)P(C)) ;(P(AC)=P(A)P(C)); (3)(A)，(B)，(C)相互独立 (Leftrightarrow P(AB)=P(A)P(B)); (P(BC)=P(B)P(C)) ; (P(AC)=P(A)P(C)) ; (P(ABC)=P(A)P(B)P(C))

独立重复试验

将某试验独立重复(n)次，若每次实验中事件A发生的概率为(p)，则(n)次试验中(A)发生(k)次的概率为： (P(X=k)=C_{n}^{k}{{p}^{k}}{{(1-p)}^{n-k}}) 8.重要公式与结论 ((1)P(ar{A})=1-P(A)) ((2)P(Aigcup B)=P(A)+P(B)-P(AB)) (P(Aigcup Bigcup C)=P(A)+P(B)+P(C)-P(AB)-P(BC)-P(AC)+P(ABC)) ((3)P(A-B)=P(A)-P(AB)) ((4)P(Aar{B})=P(A)-P(AB),P(A)=P(AB)+P(Aar{B}),) (P(Aigcup B)=P(A)+P(ar{A}B)=P(AB)+P(Aar{B})+P(ar{A}B)) (5)条件概率(P(centerdot |B))满足概率的所有性质， 例如：. (P({{ar{A}}{1}}|B)=1-P({{A}{1}}|B)) (P({{A}{1}}igcup {{A}{2}}|B)=P({{A}{1}}|B)+P({{A}{2}}|B)-P({{A}{1}}{{A}{2}}|B)) (P({{A}{1}}{{A}{2}}|B)=P({{A}{1}}|B)P({{A}{2}}|{{A}{1}}B)) (6)若({{A}{1}},{{A}{2}},cdots ,{{A}{n}})相互独立，则(P(igcaplimits_{i=1}^{n}{{{A}{i}}})=prodlimits{i=1}^{n}{P({{A}{i}})},) (P(igcuplimits{i=1}^{n}{{{A}{i}}})=prodlimits{i=1}^{n}{(1-P({{A}{i}}))}) (7)互斥、互逆与独立性之间的关系： (A)与(B)互逆(Rightarrow) (A)与(B)互斥，但反之不成立，(A)与(B)互斥（或互逆）且均非零概率事件$Rightarrow $$A(与)B(不独立. (8)若){{A}{1}},{{A}{2}},cdots ,{{A}{m}},{{B}{1}},{{B}{2}},cdots ,{{B}{n}}(相互独立，则)f({{A}{1}},{{A}{2}},cdots ,{{A}{m}})(与)g({{B}{1}},{{B}{2}},cdots ,{{B}_{n}})(也相互独立，其中)f(centerdot ),g(centerdot )$分别表示对相应事件做任意事件运算后所得的事件，另外，概率为1（或0）的事件与任何事件相互独立.

随机变量及其概率分布

随机变量及概率分布

取值带有随机性的变量，严格地说是定义在样本空间上，取值于实数的函数称为随机变量，概率分布通常指分布函数或分布律

分布函数的概念与性质

定义： (F(x) = P(X leq x), - infty < x < + infty)

性质：(1)(0 leq F(x) leq 1)

(2) (F(x))单调不减

(3) 右连续(F(x + 0) = F(x))

(4) (F( - infty) = 0,F( + infty) = 1)

离散型随机变量的概率分布

(P(X = x_{i}) = p_{i},i = 1,2,cdots,n,cdotsquadquad p_{i} geq 0,sum_{i =1}^{infty}p_{i} = 1)

连续型随机变量的概率密度

概率密度(f(x));非负可积，且:

(1)(f(x) geq 0,)

(2)(int_{- infty}^{+infty}{f(x){dx} = 1})

(3)(x)为(f(x))的连续点，则:

(f(x) = F'(x))分布函数(F(x) = int_{- infty}^{x}{f(t){dt}})

常见分布

(1) 0-1分布:(P(X = k) = p^{k}{(1 - p)}^{1 - k},k = 0,1)

(2) 二项分布:(B(n,p))： (P(X = k) = C_{n}^{k}p^{k}{(1 - p)}^{n - k},k =0,1,cdots,n)

(3) Poisson分布:(p(lambda))： (P(X = k) = frac{lambda^{k}}{k!}e^{-lambda},lambda > 0,k = 0,1,2cdots)

(4) 均匀分布(U(a,b))：$f(x) = { egin{matrix} & frac{1}{b - a},a < x< b & 0, end{matrix} $

(5) 正态分布:(N(mu,sigma^{2}):) (varphi(x) =frac{1}{sqrt{2pi}sigma}e^{- frac{{(x - mu)}^{2}}{2sigma^{2}}},sigma > 0,infty < x < + infty)

(6)指数分布:$E(lambda):f(x) ={ egin{matrix} & lambda e^{-{λx}},x > 0,lambda > 0 & 0, end{matrix} $

(7)几何分布:(G(p):P(X = k) = {(1 - p)}^{k - 1}p,0 < p < 1,k = 1,2,cdots.)

(8)超几何分布: (H(N,M,n):P(X = k) = frac{C_{M}^{k}C_{N - M}^{n -k}}{C_{N}^{n}},k =0,1,cdots,min(n,M))

随机变量函数的概率分布

(1)离散型：(P(X = x_{1}) = p_{i},Y = g(X))

则: (P(Y = y_{j}) = sum_{g(x_{i}) = y_{i}}^{}{P(X = x_{i})})

(2)连续型：(X ilde{ }f_{X}(x),Y = g(x))

则:(F_{y}(y) = P(Y leq y) = P(g(X) leq y) = int_{g(x) leq y}^{}{f_{x}(x)dx})， (f_{Y}(y) = F'_{Y}(y))

重要公式与结论

(1) (Xsim N(0,1) Rightarrow varphi(0) = frac{1}{sqrt{2pi}},Phi(0) =frac{1}{2},) (Phi( - a) = P(X leq - a) = 1 - Phi(a))

(2) (Xsim Nleft( mu,sigma^{2} ight) Rightarrow frac{X -mu}{sigma}sim Nleft( 0,1 ight),P(X leq a) = Phi(frac{a -mu}{sigma}))

(3) (Xsim E(lambda) Rightarrow P(X > s + t|X > s) = P(X > t))

(4) (Xsim G(p) Rightarrow P(X = m + k|X > m) = P(X = k))

(5) 离散型随机变量的分布函数为阶梯间断函数；连续型随机变量的分布函数为连续函数，但不一定为处处可导函数。

(6) 存在既非离散也非连续型随机变量。

多维随机变量及其分布

二维随机变量及其联合分布

由两个随机变量构成的随机向量((X,Y))， 联合分布为(F(x,y) = P(X leq x,Y leq y))

二维离散型随机变量的分布

(1) 联合概率分布律 (P{ X = x_{i},Y = y_{j}} = p_{{ij}};i,j =1,2,cdots)

(2) 边缘分布律 (p_{i cdot} = sum_{j = 1}^{infty}p_{{ij}},i =1,2,cdots) (p_{cdot j} = sum_{i}^{infty}p_{{ij}},j = 1,2,cdots)

(3) 条件分布律 (P{ X = x_{i}|Y = y_{j}} = frac{p_{{ij}}}{p_{cdot j}}) (P{ Y = y_{j}|X = x_{i}} = frac{p_{{ij}}}{p_{i cdot}})

二维连续性随机变量的密度

(1) 联合概率密度(f(x,y):)

(f(x,y) geq 0)

(int_{- infty}^{+ infty}{int_{- infty}^{+ infty}{f(x,y)dxdy}} = 1)

(2) 分布函数：(F(x,y) = int_{- infty}^{x}{int_{- infty}^{y}{f(u,v)dudv}})

(3) 边缘概率密度： (f_{X}left( x ight) = int_{- infty}^{+ infty}{fleft( x,y ight){dy}}) (f_{Y}(y) = int_{- infty}^{+ infty}{f(x,y)dx})

(4) 条件概率密度：(f_{X|Y}left( x middle| y ight) = frac{fleft( x,y ight)}{f_{Y}left( y ight)}) (f_{Y|X}(y|x) = frac{f(x,y)}{f_{X}(x)})

常见二维随机变量的联合分布

(1) 二维均匀分布：((x,y) sim U(D)) ,(f(x,y) = egin{cases} frac{1}{S(D)},(x,y) in D 0,其他 end{cases})

(2) 二维正态分布：((X,Y)sim N(mu_{1},mu_{2},sigma_{1}^{2},sigma_{2}^{2}, ho)),((X,Y)sim N(mu_{1},mu_{2},sigma_{1}^{2},sigma_{2}^{2}, ho))

(f(x,y) = frac{1}{2pisigma_{1}sigma_{2}sqrt{1 - ho^{2}}}.expleft{ frac{- 1}{2(1 - ho^{2})}lbrackfrac{{(x - mu_{1})}^{2}}{sigma_{1}^{2}} - 2 hofrac{(x - mu_{1})(y - mu_{2})}{sigma_{1}sigma_{2}} + frac{{(y - mu_{2})}^{2}}{sigma_{2}^{2}} brack ight})

随机变量的独立性和相关性

(X)和(Y)的相互独立:(Leftrightarrow Fleft( x,y ight) = F_{X}left( x ight)F_{Y}left( y ight)):

(Leftrightarrow p_{{ij}} = p_{i cdot} cdot p_{cdot j})（离散型） (Leftrightarrow fleft( x,y ight) = f_{X}left( x ight)f_{Y}left( y ight))（连续型）

(X)和(Y)的相关性：

相关系数( ho_{{XY}} = 0)时，称(X)和(Y)不相关， 否则称(X)和(Y)相关

两个随机变量简单函数的概率分布

离散型： (Pleft( X = x_{i},Y = y_{i} ight) = p_{{ij}},Z = gleft( X,Y ight)) 则：

(P(Z = z_{k}) = Pleft{ gleft( X,Y ight) = z_{k} ight} = sum_{gleft( x_{i},y_{i} ight) = z_{k}}^{}{Pleft( X = x_{i},Y = y_{j} ight)})

连续型： (left( X,Y ight) sim fleft( x,y ight),Z = gleft( X,Y ight)) 则：

(F_{z}left( z ight) = Pleft{ gleft( X,Y ight) leq z ight} = iint_{g(x,y) leq z}^{}{f(x,y)dxdy})，(f_{z}(z) = F'_{z}(z))

重要公式与结论

(1) 边缘密度公式： (f_{X}(x) = int_{- infty}^{+ infty}{f(x,y)dy,}) (f_{Y}(y) = int_{- infty}^{+ infty}{f(x,y)dx})

(2) (Pleft{ left( X,Y ight) in D ight} = iint_{D}^{}{fleft( x,y ight){dxdy}})

(3) 若((X,Y))服从二维正态分布(N(mu_{1},mu_{2},sigma_{1}^{2},sigma_{2}^{2}, ho)) 则有：

(Xsim Nleft( mu_{1},sigma_{1}^{2} ight),Ysim N(mu_{2},sigma_{2}^{2}).)

(X)与(Y)相互独立(Leftrightarrow ho = 0)，即(X)与(Y)不相关。

(C_{1}X + C_{2}Ysim N(C_{1}mu_{1} + C_{2}mu_{2},C_{1}^{2}sigma_{1}^{2} + C_{2}^{2}sigma_{2}^{2} + 2C_{1}C_{2}sigma_{1}sigma_{2} ho))

({ X})关于(Y=y)的条件分布为： (N(mu_{1} + hofrac{sigma_{1}}{sigma_{2}}(y - mu_{2}),sigma_{1}^{2}(1 - ho^{2})))

(Y)关于(X = x)的条件分布为： (N(mu_{2} + hofrac{sigma_{2}}{sigma_{1}}(x - mu_{1}),sigma_{2}^{2}(1 - ho^{2})))

(4) 若(X)与(Y)独立，且分别服从(N(mu_{1},sigma_{1}^{2}),N(mu_{1},sigma_{2}^{2}),) 则：(left( X,Y ight)sim N(mu_{1},mu_{2},sigma_{1}^{2},sigma_{2}^{2},0),)

(C_{1}X + C_{2}Y ilde{ }N(C_{1}mu_{1} + C_{2}mu_{2},C_{1}^{2}sigma_{1}^{2} C_{2}^{2}sigma_{2}^{2}).)

(5) 若(X)与(Y)相互独立，(fleft( x ight))和(gleft( x ight))为连续函数， 则(fleft( X ight))和(g(Y))也相互独立。

随机变量的数字特征

数学期望

离散型：(Pleft{ X = x_{i} ight} = p_{i},E(X) = sum_{i}^{}{x_{i}p_{i}})；

连续型： (Xsim f(x),E(X) = int_{- infty}^{+ infty}{xf(x)dx})

性质：

(1) (E(C) = C,Elbrack E(X) brack = E(X))

(2) (E(C_{1}X + C_{2}Y) = C_{1}E(X) + C_{2}E(Y))

(3) 若(X)和(Y)独立，则(E(XY) = E(X)E(Y))

(4)(leftlbrack E(XY) ight brack^{2} leq E(X^{2})E(Y^{2}))

方差：

(D(X) = Eleftlbrack X - E(X) ight brack^{2} = E(X^{2}) - leftlbrack E(X) ight brack^{2})

标准差：

(sqrt{D(X)})，

离散型：

(D(X) = sum_{i}^{}{leftlbrack x_{i} - E(X) ight brack^{2}p_{i}})

连续型：

(D(X) = {int_{- infty}^{+ infty}leftlbrack x - E(X) ight brack}^{2}f(x)dx)

性质：

(1)( D(C) = 0,Dlbrack E(X) brack = 0,Dlbrack D(X) brack = 0)

(2) (X)与(Y)相互独立，则(D(X pm Y) = D(X) + D(Y))

(3)( Dleft( C_{1}X + C_{2} ight) = C_{1}^{2}Dleft( X ight))

(4) 一般有 (D(X pm Y) = D(X) + D(Y) pm 2Cov(X,Y) = D(X) + D(Y) pm 2 hosqrt{D(X)}sqrt{D(Y)})

(5)( Dleft( X ight) < Eleft( X - C ight)^{2},C eq Eleft( X ight))

(6)( D(X) = 0 Leftrightarrow Pleft{ X = C ight} = 1)

随机变量函数的数学期望

(1) 对于函数(Y = g(x))

(X)为离散型：(P{ X = x_{i}} = p_{i},E(Y) = sum_{i}^{}{g(x_{i})p_{i}})；

(X)为连续型：(Xsim f(x),E(Y) = int_{- infty}^{+ infty}{g(x)f(x)dx})

(2) (Z = g(X,Y));(left( X,Y ight)sim P{ X = x_{i},Y = y_{j}} = p_{{ij}}); (E(Z) = sum_{i}^{}{sum_{j}^{}{g(x_{i},y_{j})p_{{ij}}}}) (left( X,Y ight)sim f(x,y));(E(Z) = int_{- infty}^{+ infty}{int_{- infty}^{+ infty}{g(x,y)f(x,y)dxdy}})

协方差

(Cov(X,Y) = Eleftlbrack (X - E(X)(Y - E(Y)) ight brack)

相关系数

( ho_{{XY}} = frac{Cov(X,Y)}{sqrt{D(X)}sqrt{D(Y)}}),(k)阶原点矩 (E(X^{k})); (k)阶中心矩 (Eleft{ {lbrack X - E(X) brack}^{k} ight})

性质：

(1)( Cov(X,Y) = Cov(Y,X))

(2)( Cov(aX,bY) = abCov(Y,X))

(3)( Cov(X_{1} + X_{2},Y) = Cov(X_{1},Y) + Cov(X_{2},Y))

(4)( left| holeft( X,Y ight) ight| leq 1)

(5) ( holeft( X,Y ight) = 1 Leftrightarrow Pleft( Y = aX + b ight) = 1) ，其中(a > 0)

( holeft( X,Y ight) = - 1 Leftrightarrow Pleft( Y = aX + b ight) = 1) ，其中(a < 0)

重要公式与结论

(1)( D(X) = E(X^{2}) - E^{2}(X))

(2)( Cov(X,Y) = E(XY) - E(X)E(Y))

(3) (left| holeft( X,Y ight) ight| leq 1,)且 ( holeft( X,Y ight) = 1 Leftrightarrow Pleft( Y = aX + b ight) = 1)，其中(a > 0)

( holeft( X,Y ight) = - 1 Leftrightarrow Pleft( Y = aX + b ight) = 1)，其中(a < 0)

(4) 下面5个条件互为充要条件：

( ho(X,Y) = 0) (Leftrightarrow Cov(X,Y) = 0) (Leftrightarrow E(X,Y) = E(X)E(Y)) (Leftrightarrow D(X + Y) = D(X) + D(Y)) (Leftrightarrow D(X - Y) = D(X) + D(Y))

注：(X)与(Y)独立为上述5个条件中任何一个成立的充分条件，但非必要条件。

数理统计的基本概念

基本概念

总体：研究对象的全体，它是一个随机变量，用(X)表示。

个体：组成总体的每个基本元素。

简单随机样本：来自总体(X)的(n)个相互独立且与总体同分布的随机变量(X_{1},X_{2}cdots,X_{n})，称为容量为(n)的简单随机样本，简称样本。

统计量：设(X_{1},X_{2}cdots,X_{n},)是来自总体(X)的一个样本，(g(X_{1},X_{2}cdots,X_{n}))）是样本的连续函数，且(g())中不含任何未知参数，则称(g(X_{1},X_{2}cdots,X_{n}))为统计量。

样本均值：(overline{X} = frac{1}{n}sum_{i = 1}^{n}X_{i})

样本方差：(S^{2} = frac{1}{n - 1}sum_{i = 1}^{n}{(X_{i} - overline{X})}^{2})

样本矩：样本(k)阶原点矩：(A_{k} = frac{1}{n}sum_{i = 1}^{n}X_{i}^{k},k = 1,2,cdots)

样本(k)阶中心矩：(B_{k} = frac{1}{n}sum_{i = 1}^{n}{(X_{i} - overline{X})}^{k},k = 1,2,cdots)

分布

(chi^{2})分布：(chi^{2} = X_{1}^{2} + X_{2}^{2} + cdots + X_{n}^{2}simchi^{2}(n))，其中(X_{1},X_{2}cdots,X_{n},)相互独立，且同服从(N(0,1))

(t)分布：(T = frac{X}{sqrt{Y/n}}sim t(n)) ，其中(Xsim Nleft( 0,1 ight),Ysimchi^{2}(n),)且(X)，(Y) 相互独立。

(F)分布：(F = frac{X/n_{1}}{Y/n_{2}}sim F(n_{1},n_{2}))，其中(Xsimchi^{2}left( n_{1} ight),Ysimchi^{2}(n_{2}),)且(X)，(Y)相互独立。

分位数：若(P(X leq x_{alpha}) = alpha,)则称(x_{alpha})为(X)的(alpha)分位数

正态总体的常用样本分布

(1) 设(X_{1},X_{2}cdots,X_{n})为来自正态总体(N(mu,sigma^{2}))的样本，

(overline{X} = frac{1}{n}sum_{i = 1}^{n}X_{i},S^{2} = frac{1}{n - 1}sum_{i = 1}^{n}{{(X_{i} - overline{X})}^{2},})则：

(overline{X}sim Nleft( mu,frac{sigma^{2}}{n} ight){ })或者(frac{overline{X} - mu}{frac{sigma}{sqrt{n}}}sim N(0,1))

(frac{(n - 1)S^{2}}{sigma^{2}} = frac{1}{sigma^{2}}sum_{i = 1}^{n}{{(X_{i} - overline{X})}^{2}simchi^{2}(n - 1)})

(frac{1}{sigma^{2}}sum_{i = 1}^{n}{{(X_{i} - mu)}^{2}simchi^{2}(n)})

4)({ }frac{overline{X} - mu}{S/sqrt{n}}sim t(n - 1))

重要公式与结论

(1) 对于(chi^{2}simchi^{2}(n))，有(E(chi^{2}(n)) = n,D(chi^{2}(n)) = 2n;)

(2) 对于(Tsim t(n))，有(E(T) = 0,D(T) = frac{n}{n - 2}(n > 2))；

(3) 对于(F ilde{ }F(m,n))，有 (frac{1}{F}sim F(n,m),F_{a/2}(m,n) = frac{1}{F_{1 - a/2}(n,m)};)

(4) 对于任意总体(X)，有 (E(overline{X}) = E(X),E(S^{2}) = D(X),D(overline{X}) = frac{D(X)}{n})