本文整理一些与极限和连续有关的概念和定理。
1 实数线的拓扑
我们先从探讨“距离”的概念出发。我们知道对于(x,yin R),可以定义一个非负的Euclidean distance(|x-y|)。通过这个,我们可以定义某个点(xin R)的(varepsilon)-邻域((varepsilon)-neighbourhood)为集合(S(x,varepsilon)={y:|x-y|lt varepsilon}),其中(varepsilongt 0)。
如果对于集合(Asubseteq R),(forall xin A),都(exists varepsilongt 0),使得该点的(varepsilon)-邻域是(A)的子集,这样的集合(A)叫开集(open set)。(R)和(emptyset)也都为开集。
(R)上的所有开集组成的collection,称为topology of (R)(拓扑),或者usual topology on (R)(通常拓扑)。我们还可以在(R)的子集或子空间(subspace)上讨论topology,对于(Asubseteq mathbb{S}subseteq R),如果(forall xin A),都(exists S(x,varepsilon)),使得(S(x,varepsilon)cap mathbb{S} subseteq A),就称(A)在(mathbb{S})中是开的((A) is open in (mathbb{S}))。比如([0,1)),在(R)中不是开的,但在(mathbb{S}=[0,2])中是开的。所有这些集合定义了relative topology on (mathbb{S})(相对拓扑),由定义直接可得以下定理。
定理:若(A)在(R)中是开的,则(Acap mathbb{S})在relative topology on (mathbb{S})中是开的。
对于某个点(xin R),若(forall varepsilon gt 0),(Acap S(x,varepsilon))均为非空集合,则称(x)为集合(A)的一个闭包点(closure point),它不一定是(A)中的元素。(A)的所有的闭包点组成了(A)的闭包(closure),记作(ar A)或((A)^-)。
对于某个点(xin R),若它是(A-{x})的闭包点,则称它是(A)的会聚点(accumulation point)。若(x)是(A)的闭包点且(x otin A),则(x)也是(A)的会聚点。而那些不是会聚点的闭包点,就是(A)的孤点(isolated point)。比如集合(A={0}cup[1,2]),则(x=0)为(A)的孤点。
若点(xin ar A)满足(forall varepsilongt 0),(A^ccap S(x,varepsilon))均非空,则(x)称为集合(A)的边界点(boundary point)。可以将(A)的所有边界点组成的集合记为(partial A),则(ar A = Acuppartial A)。
(A)的内部(interior)就是集合(A^o=A-partial A)。
闭集(Closed set)就是包含了该集合自己所有的闭包点的集合,对这样的集合来说,(ar A=A)。
定理:(R)上的开集,其补集是闭集。
这是闭集的另一个定义。可以看出,(R)和(emptyset)都既是开集又是闭集。推广至relative topologies,有如下定理。
定理:若(A)在(mathbb{S}subseteq R)中是开的,则(mathbb{S}-A)在(mathbb{S})中是闭的。
定理:(1)开集的collection的并是开的;(2)若(A)和(B)都是开的,那么(Acap B)也是开的。
定理:每个开集(Ain R)都可表达为可数个不交开区间的并。
定理:(mathscr{B})包含了(R)中的开集和闭集。
若一个collection (mathscr{C})满足对于一个(Asubseteq R),(Asubseteq cup_{Binmathscr{C}}B),则称(mathscr{C})为(A)的一个覆盖(covering)。若这里每个(B)都是开集,则称该覆盖为开覆盖(open covering)。
定理 (Lindelof's covering theorem):对于由(R)上的开子集组成的任意的一个collection(mathscr{C}),必定存在可数的subcollection ({B_iin mathscr{C}, iin N}),使得
这也就是说,若(mathscr{C})是(R)中某个集合的覆盖,那么它必定包含了一个可数的子覆盖。这也叫Lindelof property。
由覆盖的概念,可以导出一个更重要的概念:紧致性(compactness):若对于集合(A),每个(A)的开覆盖都包含了一个有限的子覆盖,则称(A)是紧的(compact)。
理解这个概念的关键在于“每个”和“开覆盖”。举个例子,对于((0,1]),可数collection({(1/n,1],nin N})是一个开覆盖,但没有有限的子覆盖,因此((0,1])不是紧的。
若(exists xin A)和(varepsilon gt 0),(Asubseteq S(x,varepsilon)),则称(A)是有界的(bounded)。换句话说,有界集合必须被一个有限区间所包含。有了有界的概念,我们回到紧致性。
定理:在(R)中的一个集合是紧的,当且仅当它是闭的、有界的。
对于(A)的子集(B),若(Bsubseteq Asubseteq ar B),则称(B)在(A)中稠密(dense)。
定理:若(A)是(R)上的区间,(Csubseteq A)是一个可数集合,则(A-C)在(A)中稠密。
2 序列和极限
实序列(real sequence)是一个从(N)到(R)的映射,定义域中的元素称为indices,它们的值域称为序列的项/成员/坐标(terms/members/coordinates)。
称({x_n}_1^{infty}) 收敛于(converge to)极限(x),若(forall varepsilon gt 0),(exists N_varepsilon),使得(forall n>N_varepsilon, |x_n-x|lt varepsilon)。若序列趋于(pminfty)则称发散(diverge),有时这也叫在(ar R)中收敛,这是为了区别它们与那些不收敛到一个固定点的序列。
定理:任意在紧集中的单调序列均收敛。
即使序列不收敛,也可能会无限次地到达某个点。若存在子序列(subsequence)({x_{n_k},kin N})和常数(c),使得(x_{n_k} o c),则称(c)为序列的聚集点(cluster point)。比如序列({(-1)^n,n=1,2,ldots}),可以用它的奇数位置元素和偶数位置元素分别构造出收敛子列。
子序列的概念很重要。典型的推理路线是这样的,先确定一个收敛子列(可能是单调序列),再利用序列的其他特性来说明聚集点是一个极限。由于序列的成员都是在紧集中的,一方面紧集是有界的,所以这样的序列不可能发散至无穷大,另一方面紧集又是闭的,所有的极限点或聚集点都在集合中。
定理:在(R)上的紧集中的任意序列,都有至少一个聚集点。
定理:在紧集中的序列,要不就有两个或更多的聚集点,要不就收敛。
例子:考虑序列({1,x,x^2,ldots}),若(|x|lt 1)则收敛于(0),若(x=1)则收敛于(1),若(xgt 1)则其在(R)中发散,或者叫在(ar R)中收敛至(+infty),若(x=-1)则在两个聚集点(+1)和(-1)之间摇摆,若(xlt -1)则在(R)中发散,或者说在(ar R)中的两个聚集点(+infty)和(-infty)之间摇摆。
接下来讨论实数序列。实数序列({x_n})的上极限(superior limit)定义为
类似可定义下极限(inferior limit)为
当(limsup_n x_n)与(liminf_n x_n)相等,序列收敛。
这几个概念可用来处理极限问题。有时候,直接假设极限存在是不合理的,但limsup和liminf是总是存在的,只需推导它们,再说明它们相等就行,另一个充分条件是(liminf_n x_ngt limsup_n x_n),也可以推出极限存在。
对于实数序列,有一个判断收敛的Cauchy准则(Cauchy criterion):({x_n})收敛,等价于,(forall varepsilongt 0),(exists N_varepsilon),使得对于(ngt N_varepsilon),(mgt N_varepsilon),有(|x_n-x_m|lt varepsilon)。满足这个条件的,也叫Cauchy序列(Cauchy sequence)。满足本节开头对收敛的定义的数列必为Cauchy数列,实数Cauchy数列也必定有极限,两种极限的定义在(R)上等价。但Cauchy准则在很多时候更容易检验。
在集合(A)中的Cauchy序列,它的极限是(A)的会聚点;反之,每个(A)的会聚点(x),都存在极限为(x)的Cauchy序列。因此,极限点(limit point)有时是会聚点(accumulation point)的同义词。
定理:任意实数都是某个有理数Cauchy序列的极限。
该定理意味着,任一实数的任一(varepsilon)-邻域中,必定存在一个有理数,即(Q)在(R)中是稠密的。另外,(Q)的补集(R-Q)也是稠密的,因此,正常人的直觉“稠密的集合的补集是稀疏的”是错误的。
定理:任意开区间都是某个端点为有理数的闭子区间序列的极限。
这说明了,开集序列的极限不一定是开的,闭集序列的极限不一定是闭的。但是,非递减的开集序列的极限是开的,非递增的闭集序列的极限是闭的。
3 函数和连续
本节讨论函数及其连续性的概念。现有一个在实变量上的函数(f: mathbb{S}mapsto mathbb{T}),(mathbb{S}in R),(mathbb{T}in R),对于“连续性”(continuity),(f)在(xinmathbb{S})处连续的正式定义为:(forall varepsilon gt 0),(exists delta gt 0),使得只要(|y-x|lt delta)就有(|f(y)-f(x)|lt varepsilon)。若(f)在(mathbb{S})的每个点上都连续,则称它在(mathbb{S})上连续。
定理:假设(f: mathbb{S}mapsto mathbb{T})在(mathbb{S})的所有点上连续,那么,若(A)在(mathbb{T})上是开的则(f^{-1}(A))在(mathbb{S})上是开的,若(A)在(mathbb{T})上是闭的则(f^{-1}(A))在(mathbb{S})上是闭的。
注意,这条定理没有说,若(A)是开的则(f(A))是开的。如果一个映射满足若(A)是开的则(f(A))是开的,可以称为开映射(open mapping)。由于(f(A^c) eq [f(A)]^c),因此开映射未必是闭映射(closed mapping)。但有一种特殊的函数,就是同胚(homeomorphism)。同胚是这样的一种函数,它是(1)-(1) onto(满射、单射)、连续,并且反函数也连续。若(f)为同胚,则(f^{-1})也是同胚,同胚既是开映射,又是闭映射。
目前我们定义的连续,是关于函数在某个点处的性质,并不是函数自身的性质,为此还需要引入一致连续(uniformly continuous)的概念:(forall x,yin mathbb{S}),(forall varepsilongt 0),(exists deltagt 0),使得,只要(|x-y|lt delta),就有(|f(x)-f(y)|lt varepsilon)。
定理:如果一个函数在紧集(mathbb{S})上处处连续,则它在(mathbb{S})上必定是有界且一致连续的。
连续性是关于函数光滑性(smoothness)的最弱的概念,另外还有Lipschitz条件、可微、有界变差等概念。
我们来看Lipschitz条件(Lipschitz condition):对于某个(deltagt 0),(forall yin S(x,delta)),若(exists Mgt 0),使得(|f(y)-f(x)|leq Mh(|x-y|)),其中(h:R^+ mapsto R^+)满足当(ddownarrow 0)时(h(d)downarrow 0),则称函数(f)在点(x)处满足Lipschitz条件。若固定(M),(forall x,yin mathbb{S})上面的条件都成立,则称(f)满足一致Lipschitz条件(uniform Lipschitz condition)。
可微(diffrentiable)也是一种光滑性的概念。
当定义域是区间时,另一个光滑性的概念是有界变差(bounded variation)。若(exists Mlt infty),使得,对于区间([a,b]),任意一种用有限个点(a=x_0lt x_1lt cdotslt x_n = b)产生的划分,满足(sum_{k=1}^{n} |f(x_i)-f(x_{i-1})|leq M),则称函数(f)是有界变差的。
定理:(f)是有界变差的,当且仅当存在非递减函数(f_1)和(f_2)使得(f=f_2-f_1)。
另外,在([a,b])上由(h(|x-y|)=|x-y|)满足一致Lipschitz条件的函数,在([a,b])上是有界变差的。
4 向量向量与函数
以上几节的结论,一般都可推广到(R^k)空间上。
定理:现有(f:mathbb{S}mapstomathbb{T}),其中(mathbb{S}in R^k),(mathbb{T}in R^m),当且仅当(f)是连续的时,有:若(A)在(mathbb{T})上是开的则(f^{-1}(A))在(mathbb{S})上是开的,若(A)在(mathbb{T})上是闭的则(f^{-1}(A))在(mathbb{S})上是闭的。
5 函数的序列
取函数(f_n:Omega mapsto mathbb{T}),其中(mathbb{T}in R),(Omega)可以是任意集合(不一定是(R)的子集),则({f_n,nin N+})就是函数的序列。
若存在一个(f),(forall omegainOmega),(forall varepsilongt 0),(exists N_{varepsilon omega}),使得当(ngt N_{varepsilon omega})时必有(|f_n(omega)-f(omega)|lt varepsilon),则称(f_n)在(Omega)上逐点收敛于(f)(converge to (f), pointwise on (Omega))。
同理,我们可以定义函数序列的一致收敛(uniform convergence):若存在一个(f),使得(forall varepsilon gt 0),都(exists N)使得当(ngt N)时有(sup_{omegainOmega} |f_n(omega)-f(omega)|lt varepsilon),则称(f_n)在(Omega)上一致收敛于(f)(converge to (f) uniformly on (Omega))。
6 Summability与序关系
对于实数序列({x_n}_1^{infty}),它的项的和称为级数(series),写为(sum_{n=1}^{infty} x_n)(或(sum x_n))。序列({sum_{m=1}^{n} x_m,nin N+})称为级数的部分和(partial sums)。对于一个级数来说,若部分和收敛于有限的极限,则称该级数收敛。另外,若单调序列({sum_{m=1}^{n} |x_m|,nin N+})收敛,则称对应的级数绝对收敛(converge absolutely)。
比如几何级数(geometric series)(sum_{j=1}^{infty} x^j),若(|x|lt 1)则它收敛于(1/(1-x)),且它也是绝对收敛的,若(x=-1)则它在两个聚集点(-1)和(0)之间摇摆,若(x)取其他值则它发散。
定理:若级数绝对收敛,则它必收敛。
对应的一个术语叫summability,有时翻译成可求和性,但它是对应于数列的。若级数(sum x_n)收敛则称({x_n}_1^{infty})是summable,若({|x_n|}_1^{infty})是summable则称({x_n}_1^{infty})是absolutely summable。Summable序列必定收敛于(0),反之不然,除非尾部和(tail sums)收敛于(0),这是个充要条件,见下面定理。
定理:({x_n}_1^{infty})是summable,当且仅当(n oinfty)时有(sum_{m=n}^{infty} x_m o 0)。
还有一个比普通的收敛更弱的概念:若({n^{-1}sum_{m=1}^{n} x_m}_{1}^{infty})收敛,则称({x_n}_1^{infty})是Cesaro-summable的。
定理:若({x_n}_1^{infty})收敛于(x),则它的Cesaro和(Cesaro sum)也收敛于(x)。
注意,不收敛的序列也可能是Cesaro-summable的,比如序列({(-1)^n}_0^{infty}),它不收敛,它的Cesaro和收敛于(0),它的部分和序列({sum_{m=0}^{n}(-1)^m}_0^{infty})的Cesaro和收敛于(1/2)。
记号(x_nsim a_n)表示,(exists Ngt 0,Agt 0, Bgeq A),使得(inf_{ngeq N}(x_n / a_n)geq A),(sup_{ngeq N}(x_n / a_n)geq B)。下面是有关收敛速率的定理。
定理:({x_n})为正的实数序列,(x_nsim n^{alpha}),则
- 若(alpha gt -1),则(sum_{m=1}^{n} x_msim n^{1+alpha});
- 若(alpha = -1),则(sum_{m=1}^{n} x_m sim log n);
- 若(alpha lt -1),则(sum_{m=1}^{n} x_m lt infty)且(sum_{m=n}^{infty} x_m=O(n^{1+alpha}))。
事实上,(x_nsim n^{alpha})就意味着存在(Agt 0)和(B geq A),使得(Asum_{m=N}^{n}m^alpha leq sum_{m=N}^{n}x_m leq Bsum_{m=N}^{n}m^alpha),而(n oinfty)时(sum_{m=1}^{n} m^alpha)的极限值,就是以(alpha)为参数的Riemann Zeta函数,其中(alphalt -1)。
若对于(xgt 0)和(-inftylt holt infty),当(v oinfty (0))时,有(U(vx)/U(v) o x^ ho),则称(U)是regularly varying at infinity (zero)。若对于(xgt 0),当(v oinfty (0))时,有(L(vx)/L(v) o 1),则称(L)是slowly varying at infinity (zero)。显然,一个regularly varying函数(U)可以写作(U(v)=v^ ho L(v)),其中(L)是slowly varying的。举个例子,((log v)^alpha)对于任意(alpha)都是slowly varying at infinity。
这两种函数都定义在实数上,但也可以限制在(N^+)上,这样就可以将它们的概念引入到正数序列上。
定理:若(L)是slowly varying at infinity,则(forall deltagt 0),(exists Ngeq 1),使得(forall vgt N),都有(v^{-delta} lt L(v) lt v^{delta})。
推论:若(x_n=O(n^alpha L(n))),则(sum_{n=1}^{infty} x_n ltinfty),这对于任意的(alpha lt -1)和slowly varying at infinity的函数(L(n))都成立。
定理:若(x_nsim 1/[n(log n)^{1+delta}]),(deltagt 0),则(sum_{n=1}^{infty} x_n ltinfty)。若(delta =0),则(sum_{n=1}^{infty} x_n sim loglog n)。
定理(Feller,1971):若正的单调函数(U(v))满足(forall xin D),(dfrac{U(vx)}{U(v)} oPsi(x)),其中(D)在(R^+)上稠密,(0lt Psi(x)lt infty),则必有(Psi(x)=x^ ho),其中(-inftylt holtinfty)。
定理:单调的regularly varying的函数的导数,必定regularly varying at (infty)。
7 Arrays
所谓array,就是定义域为可数的linearly ordered的集合的Cartesian product(或它的子集)的映射。
有限个序列组成的collection({{x_{nt},t=1,ldots,k_n},nin N^+}),(n oinfty)时有(k_n uparrow infty),称这样的collection为triangular array。
Toeplitz's Lemma:假设({y_n})是实数序列,(y_n oinfty),若({{x_{nt},t=1,ldots,k_n},nin N^+})为triangular array,并且
- 对于每个固定的(t),当(n o 0)时,(x_{nt} o 0);
- (limlimits_{n oinfty}sumlimits_{t=1}^{k_n} |x_{nt}| leq C lt infty);
- (limlimits_{n oinfty}sumlimits_{t=1}^{k_n} x_{nt} = 1),
则(sum_{t=1}^{k_n} x_{nt} y_n o y)。对于(y=0),条件3可忽略。
满足上述引理的条件的一个典型例子就是(x_{nt}=(sum_{s=1}^{n} y_s)^{-1}y_t),其中({y_t})为正数序列且(sum_{s=1}^n y_s o infty)。
Kronecker's Lemma:考虑正数序列({a_t}_1^infty)和({x_t}_1^infty),其中(a_tuparrowinfty),若当(n oinfty)时,(sum_{t=1}^{n} x_t/a_t o Clt infty),则(dfrac{1}{a_n}sum_{t=1}^{n}x_t o 0)。
关于array的收敛性,可以理解为在序列上的概念延伸。考虑子序列({{x_{m{n_k}}, kin N^+},min N^+}),其中({n_k,kin N^+})是正整数的递增序列。若(x_m = lim_{k oinfty} x_{m n_k})对于每个(min N^+)都存在,则称array就是收敛的,它的极限就是无穷序列({x_m,m oinfty}),至于这个序列是否收敛,那就是另外一个问题了。
现在考虑一个有界array即(sup_{k,m} |x_{m{n_k}}|leq Blt infty),由前文定理可知,(R)上紧集中的任意序列必有至少一个聚集点,可将({x_{m{n_k}},kin N^+})的某个聚集点记为(x_m),这是对于array内部的序列来说的聚集点。那么,对于整个array来说,它有聚集点吗?有如下定理。
定理:对于任一有界array ({{x_{m{n_k}}, kin N^+},min N^+}),都存在一个对应的的序列({x_m}),它是当(k oinfty)时({{x_{m{n_k^*}}, kin N^+},min N^+})的极限,其中({n^*_k})是({n_k})的子序列,且对于每个(m)都相同。
参考文献
- Davidson, J., 1994. Stochastic limit theory: An introduction for econometricians. OUP Oxford.