RE：ゼロから始める PKU 生活

RE：ゼロから始める PKU 生活

zsy也成为大学生了呢！开学都一周了才意识到吗

也想不到有什么成体系的内容可以完整地记录下来，索性就每天随便写点东西吧。

9.25

互信息(Mutual Information)

首先定义一下信息。一个离散随机变量(X)的信息定义为

[H(X)=-sum_{x in X}p(x)log(p(x)) ]

两个离散随机变量(X,Y)的互信息定义为

[I(X;Y)=sum_{x in X}sum_{y in Y}p(x,y)logfrac{p(x,y)}{p(x)p(y)} ]

互信息顾名思义就是指变量(X,Y)之间共享的信息。比方说假如(X,Y)相关性很强，那么在传输了(X)后，传输(Y)所需要的信息量就会大大减少。

一些性质

非负性

琴生不等式：若(f(x))是([a,b])上的凸函数（默认定义为下凸），(x_1,x_2...x_n in [a,b], 0 le a_1, a_2 ... a_n le 1, sum_{i=1}^na_i=1)，则

[f(sum_{i=1}^na_ix_i)le sum_{i=1}^na_if(x_i) ]

由于(f(x)=log x)是上凸函数（不等号反向），故将(a_i = p(x,y), x_i = frac{p(x)p(y)}{p(x,y)})代入可得

[-I(X;Y)=sum_{x in X}sum_{y in Y}p(x,y)logfrac{p(x)p(y)}{p(x,y)}\le log[sum_{x in X}sum_{y in Y}p(x,y)frac{p(x)p(y)}{p(x,y)}]\=0 ]

因此(I(X;Y) ge 0)。

对称性

[I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=I(Y;X) ]

直观理解即可，即，(X,Y)之间的互信息，等于在传输(X)后可以少传输的(Y)的信息，等于在传输(Y)后可以少传输的(X)的信息。

下面推导一下(I(X;Y)=H(Y)-H(Y|X))：

[I(X;Y)=sum_{x in X}sum_{y in Y}p(x,y)logfrac{p(x,y)}{p(x)p(y)}\=sum_{x in X}sum_{y in Y}p(x,y)logfrac{p(x,y)}{p(x)}-sum_{x in X}sum_{y in Y}p(x,y)log p(y)\=sum_{x in X}sum_{y in Y}p(x)p(y|x)log p(y|x)-sum_{y in Y}p(y)log p(y)\=-sum_{x in X}p(x)H(Y|x)+H(Y)\=-H(Y|X)+H(Y) ]

9.26

一些数学题

证明：(sup_{n in mathbb N}{sin(n)}=1)。

考虑证明一个一般化的命题：(alpha)是一个无理数，({nalpha-lfloor nalpha floor:n in mathbb N})在((0,1))上稠密。稠密就是指任意一个区间里都存在，规范化定义为：(forall (l,r) subset (0,1),exists kin mathbb N, s.t. kalpha-lfloor kalpha floorin(l,r))。

这个命题可以等价于：(forall m in mathbb N, exists kin mathbb N, s.t. kalpha-lfloor kalpha floor < frac 1m)，证明这个命题可以考虑(alpha-lflooralpha floor, 2alpha-lfloor2alpha floor...(m+1)alpha-lfloor(m+1)alpha floor)这(m+1)个数，在((0,frac 1m),(frac 1m,frac 2m)...(frac{m-1}m,1))这(m)个区间中至少存在一个区间包含了至少两个数，那么这两数的差就必然(< frac 1m)。

回到原问题，只需要证明(forallepsilon>0, exists n in mathbb N, s.t.1-epsilon < sin(n) < 1)，即(frac{arcsin(1-epsilon)}{2pi}<frac n{2pi}-lfloorfrac n{2pi} floor<frac 14)，利用稠密性说明即可。

证明：(mathbb Q(sqrt[n]2)={sum_{i=0}^{n-1}a_isqrt[n]{2^i}|a_0, a_1...a_{n-1}in mathbb Q})是一个数域。

主要考虑证明(mathbb Q(sqrt[n]2))对除法封闭。进一步的，我们证明(forall x = sum_{i=0}^{n-1}a_isqrt[n]{2^i}in mathbb Q(sqrt[n]2), x eq 0, exists y in mathbb Q(sqrt[n]2), s.t. xy=1)。

定义(xi_k=sqrt[n]2e^{frac{2pi ik}{n}}(k=0,1...n-1))为方程(x^n-2=0)的(n)个解，记(f(x)=sum_{i=0}^{n-1}a_ix^i)。考虑构造矩阵

[A=egin{bmatrix} a_0&a_1&a_2&cdots&a_{n-1}\ 2a_{n-1}&a_0&a_1&cdots&a_{n-2}\ 2a_{n-2}&2a_{n-1}&a_0&cdots&a_{n-3}\ vdots&vdots&vdots&ddots&vdots\ 2a_1&2a_2&2a_3&cdots&a_0 end{bmatrix} ]

[B=egin{bmatrix} xi_0^0&xi_1^0&cdots&xi_{n-1}^0\ xi_0^1&xi_1^1&cdots&xi_{n-1}^1\ vdots&vdots&ddots&vdots\ xi_0^{n-1}&xi_1^{n-1}&cdots&xi_{n-1}^{n-1}\ end{bmatrix} ]

观察发现

[AB=egin{bmatrix} f(xi_0)&f(xi_1)&cdots&f(xi_{n-1})\ xi_0f(xi_0)&xi_1f(xi_1)&cdots&xi_{n-1}f(xi_{n-1})\ vdots&vdots&ddots&vdots\ xi_0^{n-1}f(xi_0)&xi_1^{n-1}f(xi_1)&cdots&xi_{n-1}^{n-1}f(xi_{n-1})\ end{bmatrix}=(prod_{i=0}^{n-1}f(xi_i))B]

于是有

[|A|=prod_{i=0}^{n-1}f(xi_i) ]

由于(f(xi_i) eq 0)，故(|A| eq 0)。这说明方程组

[A^Tegin{bmatrix}b_0\b_1\ vdots\b_{n-1}end{bmatrix}=egin{bmatrix}1\0\ vdots\0end{bmatrix} ]

有唯一解，即可以唯一构造(y=sum_{i=0}^{n-1}b_isqrt[n]{2^i})使得(xy=1)成立。

10.12

最近有点忙，随缘更。

数分习题课小记

((frac{*}{infty}))型Stolz定理的证明

({b_n})严格单调增且(limlimits_{n o infty}b_n = + infty)

证明：若(limlimits_{n o infty}frac{a_{n+1}-a_n}{b_{n+1}-b_n}=l)，则(limlimits_{n o infty}frac{a_n}{b_n}=l)。

当(l=0)时，(limlimits_{n o infty}frac{a_{n+1}-a_n}{b_{n+1}-b_n}=0)，也即(forall epsilon > 0, exists N in mathbb{N}, s.t.forall n > N, |frac{a_{n+1}-a_n}{b_{n+1}-b_n}| < epsilon,|a_{n+1}-a_n|<epsilon(b_{n+1}-b_n).)

累加若干不等式可以得到

[|a_n-a_N|=|sum_{i=N+1}^n(a_i-a_{i-1})|\lesum_{i=N+1}^n|a_i-a_{i-1}|\< epsilonsum_{i=N+1}^n(b_i-b_{i-1})\=epsilon(b_n-b_N) ]

不等式两边同除以(b_n)

[|frac{a_n}{b_n}-frac{a_N}{b_n}| < epsilon(1-frac{b_N}{b_n}) ]

(a_N,b_N)是常数，而(limlimits_{n o infty}b_n = + infty)，故(|frac{a_n}{b_n}|<epsilon(1-frac{b_N}{b_n})+frac{a_N}{b_n})两边取极限得(limlimits_{n o infty}|frac{a_n}{b_n}| < epsilon)。故(limlimits_{n o infty}|frac{a_n}{b_n}| = 0)。

当(l eq 0)且有限时，构造序列(a_n' = a_n + lb_n)，则有

[limlimits_{n o infty}frac{a_{n+1}-a_n}{b_{n+1}-b_n}=l \Rightarrow limlimits_{n o infty}(frac{a_{n+1}'-a_n'}{b_{n+1}-b_n}+l)=l\Rightarrowlimlimits_{n o infty}frac{a_{n+1}'-a_n'}{b_{n+1}-b_n}=0\Rightarrowlimlimits_{n o infty}frac{a_n'}{b_n}=0\Rightarrowlimlimits_{n o infty}frac{a_n}{b_n}=l ]

当(l = pm infty)时，以(+ infty)为例，不难证明此时({a_n})也满足严格单调增，且(limlimits_{n o infty} a_n = + infty)，从而说明(limlimits_{n o infty}frac{b_{n+1}-b_n}{a_{n+1}-a_n}=0_+)，利用(l=0)时的结论即可完成证明。

例题

[egin{cases}x_1 = frac 35\ y_1 = frac 45\x_{n+1} = x_n cos y_n - y_n sin y_n\ y_{n+1} = x_n sin y_n + y_n cos y_nend{cases} ]

判断({x_n},{y_n})极限的存在性，若存在则求之。

由数学归纳法可证(x_n^2+y_n^2 = 1)。

由此可设(x_n = cos heta_n, y_n = sin heta_n)

[egin{cases}cos heta_{n+1} = cos heta_n cos sin heta_n - sin heta_n sin sin heta_n\ sin heta_{n+1} = cos heta_n sin sin heta_n + sin heta_n cos sin heta_nend{cases} ]

可知

[ heta_{n+1}= heta_n + sin heta_n ]

有界性：( heta_1 = arcsin frac 45 in (0,pi))，若( heta_k < pi)，记( heta_k = pi - epsilon(epsilon > 0))，则( heta_{k+1} = pi - epsilon + sin(pi - epsilon) = pi - epsilon + sin epsilon < pi)，因此( heta_n in (0,pi))对于(forall n in mathbb N)均成立。

单调性：( heta_n in (0,pi))故(sin heta_n > 0)，故成立。

根据单调收敛原理({ heta_n})收敛，易得其极限为(pi)。

故

[egin{cases} limlimits_{n o infty} heta_n = pi\ limlimits_{n o infty}x_n = limlimits_{n o infty}cos heta_n = -1\ limlimits_{n o infty}y_n = limlimits_{n o infty}sin heta_n = 0 end{cases}]

例题

({q_n})满足(0 < q_n < 1,(1-q_n)q_{n+1} > frac 14)。证明：({q_n})单调递增且极限为(frac 12)。

反证。若(exists n, s.t. q_{n+1} le q_n)，则(frac 14 < (1-q_n)q_{n+1} le (1-q_n)q_n le frac 14)矛盾，故({q_n})单调递增。

因为单调有界，所以极限存在，设之为(a)，则((1-a)a ge frac 14)，可知(a = frac 12)。

10.15

高代习题课小记

求行列式

[D_n=egin{vmatrix} 1&1&1&cdots&1\ x_1&x_2&x_3&cdots&x_n\ vdots&vdots&vdots&ddots&vdots\ x_1^{n-2}&x_2^{n-2}&x_3^{n-2}&cdots&x_{n}^{n-2}\ x_1^{n}&x_2^{n}&x_3^n&cdots&x_{n}^{n}\ end{vmatrix} ]

补充一行一列，看成是关于(y)的(n)次多项式

[F(y)=egin{vmatrix} 1&1&1&cdots&1&1\ x_1&x_2&x_3&cdots&x_n&y\ vdots&vdots&vdots&ddots&vdots&vdots\ x_1^{n-2}&x_2^{n-2}&x_3^{n-2}&cdots&x_{n}^{n-2}&y^{n-2}\ x_1^{n-1}&x_2^{n-1}&x_3^{n-1}&cdots&x_{n}^{n-1}&y^{n-1}\ x_1^{n}&x_2^{n}&x_3^n&cdots&x_{n}^{n}&y^n\ end{vmatrix} = prod_{i=1}^n(y-x_i)prod_{1 le j < i le n}(x_i-x_j) ]

所以

[D_n = -[y^{n-1}]F(y) = (sum_{i=1}^nx_i)[prod_{1 le j < i le n}(x_i-x_j)] ]

包含(e)的最小数域(mathbb Q(e))

是({frac{p(e)}{q(e)}})，其中(p,q)是有理多项式且(q(e) eq 0)。

10.16

序列({x_n})满足$forall n,m in mathbb N, 0 le x_{n+m}le x_n + x_m $

求证({frac{x_n}{n}})收敛。

记(a = l_1 = inf_{n ge 1}{frac{x_n}{n}})，显然有(a le sup_{n ge 1}l_n=underlinelimlimits_{n oinfty}frac{x_n}{n})。

由于(a)是下确界，故(forall varepsilon > 0, exists N,s.t. frac{x_N}{N} < a + varepsilon.)

$forall n > N, $ 将 (n) 写成 (mN+k) 的形式，其中 (0 le k < N,) 于是

[frac{x_n}{n} = frac{x_{mN+k}}{n} le frac{mx_N}{n}+frac{x_k}{n} le frac{mN}{n}(a+varepsilon) + frac{max_{i=0}^{N-1}a_i}{n} ]

考虑到(limlimits_{n o infty}frac{mN}{n}=1)，两边取上极限可得

[overlinelimlimits_{n oinfty}frac{x_n}{n} le a + varepsilon ]

由于(varepsilon)的任意性，故

[overlinelimlimits_{n oinfty}frac{x_n}{n} le a ]

综上，

[a le underlinelimlimits_{n oinfty}frac{x_n}{n} le overlinelimlimits_{n oinfty}frac{x_n}{n} le a ]

即

[underlinelimlimits_{n oinfty}frac{x_n}{n} = overlinelimlimits_{n oinfty}frac{x_n}{n} = a ]

({frac{x_n}{n}})极限存在。

10.19

zyy教育的是

当(limlimits_{n oinfty}(a_{n+1}-a_n)=a)时，构造(b_n=n)，根据(Stolz)定理可以得到(limlimits_{n oinfty}frac{a_n}{n}=a)。

其实是挺trivial的东西，可能是我太傻了吧。

10.20

谢惠民3.7.3第一组参考题10.

({x_n})是正数列，求证(overlinelimlimits_{n oinfty}n(frac{1+x_{n+1}}{x_n}-1) ge 1)

反证，假设(overlinelimlimits_{n oinfty}n(frac{1+x_{n+1}}{x_n}-1) = inf_{k ge 1}sup_{n ge k}{n(frac{1+x_{n+1}}{x_n}-1)}< 1)，故(exists N in mathbb N, s.t.forall n > N, n(frac{1+x_{n+1}}{x_n}-1) < 1)

[frac{1+x_{n+1}}{x_n} < frac{n+1}{n}\frac{1+x_{n+1}}{n+1} < frac{x_n}{n}\frac{x_n}{n}-frac{x_{n+1}}{n+1} > frac{1}{n+1} ]

故({frac{x_n}{n}})严格递减，且(frac{x_n}{n}-frac{x_{n+m}}{n+m} > sum_{k = n+1}^{n+m}frac{1}{k})，当固定(n)时，(limlimits_{m o infty}(frac{x_n}{n}-frac{x_{n+m}}{n+m}) ge limlimits_{m o infty}sum_{k = n+1}^{n+m}frac{1}{k} = + infty)
因此(exists N),(frac{x_N}{N} < 0)与题设不符。

10.21

淑芬习题2 29.

设({a_n} subset [a, b])，求证若({a_n})发散，则({a_n})必有两个子列收敛于不同的数。

证明：由于({a_n})有界，故(exists {n_k}, s.t.limlimits_{k oinfty}a_{n_k} = c)，因为(c)不是({a_n})的极限，故(exists min{c-a, b-c} > delta > 0, s.t.(c-delta, c+delta))区间外有({a_n})的无穷多项，那么([a,c-delta])和([c+delta, b])中至少一个区间内包含({a_n})的无穷多项，将这些项视作一个序列，根据Bolzano-Weierstrass定理，必存在一个收敛子列收敛于(c' otin (c-delta, c+delta))，即(c' eq c)。

淑芬习题2 33.

求证：若非负有界序列({x_n})对任何序列({y_n})都满足下列等式之一成立：

[overlinelimlimits_{n oinfty}(x_n+y_n) = overlinelimlimits_{n oinfty}x_n + overlinelimlimits_{n oinfty} y_n\overlinelimlimits_{n oinfty}(x_ny_n) = overlinelimlimits_{n oinfty} x_n overlinelimlimits_{n oinfty} y_n ]

则序列({x_n})收敛。

证明：反证，假设({x_n})发散，则({x_n})中必存在两个子序列分别收敛于({x_n})上下极限，记(limlimits_{k oinfty}x_{n_k} = overlinelimlimits_{n oinfty} x_n = a, limlimits_{k oinfty}x_{m_k} = underlinelimlimits_{n oinfty} x_n = b)其中(a > b)，不难说明({n_k})与({m_k})的交集只有有限项，在两个子序列中分别去除这部分交集后，可以认为({n_k}cap{m_k} = varnothing)。

构造序列({y_n})满足

[{y_n} = egin{cases} b&exists k, n_k = n\ a&exists k, m_k = n\ 0& ext{otherwise} end{cases}]

不难发现

[overlinelimlimits_{n oinfty}(x_n+y_n) = a + b < 2a = overlinelimlimits_{n oinfty}x_n + overlinelimlimits_{n oinfty}y_n\overlinelimlimits_{n oinfty}(x_ny_n) = ab < a^2 = overlinelimlimits_{n oinfty}x_noverlinelimlimits_{n oinfty}y_n ]

矛盾。故({x_n})收敛。

10.22

行列式

[D_n= egin{vmatrix} a&b&0&cdots&0&0\ c&a&b&cdots&0&0\ 0&c&a&cdots&0&0\ vdots&vdots&vdots&ddots&vdots&vdots\ 0&0&0&cdots&a&b\ 0&0&0&cdots&c&a end{vmatrix}_n ]

显然有

[D_n = aD_{n-1} - bcD_{n-2} ]

记(alpha, eta)为方程(x^2 - ax + bc = 0)的两根，可得(D_n)的通项公式为

[D_n = egin{cases} frac{alpha^{n+1} - eta^{n+1}}{alpha - eta}&alpha eq eta\ (n+1)alpha^n&alpha = eta end{cases} ]

可以用特征方程解线性递推的那一套理论就出来，放在这儿就当是记个结论。

（(alpha, eta)可以取到复数，最终算出来的通项仍然会是实数）