“白痴”数学的笔记

http://space.bilibili.com/88461692#!/

代数和几何的区别？

 

代数是研究数字和文字的代数运算理论和方法实数和复数,以及以它们为系数的多项式的代数运算理论和方法的数学分支学科.

 

几何是研究空间结构及性质的一门学科.（简单来说就是研究平面图形或者立体图形）

eg: 代数重数和几何重数：

　　前者是刻画λ的重根数，是一个具体的数字，

　　后者刻画的是λ的无关向量个数，而向量最直观的就是和空间几何挂钩

 

 

---

映射

英文是mapping的意思，在数学上其实你可以理解为一种关系或者运算，在嵌入式里可以理解为一种寻址

函数，泛函，算子其实都是一种特殊的映射

举个简单的例子

　　比如矩阵理论的向量范数里有句话： 

　　　　设映射||·|| ：Cⁿ →Rⁿ满足：1，正定   2，齐次  3，三角不等式

　　　　这里的映射||x|| 就可以理解为x加上这个符号||·|| 后，要带入1 2 3进行验证

---

算子这个概念

英语的算子是Operator，含义为操作、运算等等

函数是从数到数的映射。
泛函是从函数到数的映射。
算子是从函数到函数的映射。

比如微积分里的梯度算子，作用在一个标量场（多元函数）上，得到一个向量场（多元向量值函数）。
如,则.

算子的引入大大方便了微分方程的研究。

比如说,

记算子,那么方程就可以写为,也就是找算子L的不动点。

---

“强大的”范数

http://blog.sciencenet.cn/blog-393973-713695.html

https://www.zhihu.com/question/21868680

数形结合：

函数是数学一条重要线索，另一条重要线索——几何，

几何是函数形象表达，函数是几何抽象描述，几何研究“形”，函数研究“数”

函数图象联系了函数和几何，表达两个数之间的变化关系，

映射推广了函数的概念，使得自变量不再仅仅局限于一个数，也不再局限于一维，

任何事物都可以拿来作映射，维数可以是任意维，传统的函数图象已无法直观地表达高维对象之间的映射关系，这就要求我们在观念中，把三维的几何空间推广到抽象的n维空间。

由于映射的对象可以是任何事物，

为了便于研究映射的性质以及数学表达，我们首先需要对映射的对象进行“量化”，取定一组“基”，确定事物在这组基下的坐标，

事物同构于我们所熟悉的抽象几何空间中的点，事物的映射可以理解为从一个空间中的点到另一个空间的点的映射，

而映射本身也是事物，自然也可以抽象为映射空间中的一个点，这就是泛函中需要研究的对象——函数。

从一个线性空间到另一个线性空间的线性映射，可以用一个矩阵来表达，矩阵被看线性作映射，线性映射的性质可以通过研究矩阵的性质来获得，

比如矩阵的秩反映了线性映射值域空间的维数，可逆矩阵反映了线性映射的可逆，

而矩阵的范数又反映了线性映射的哪些方面的性质呢？

　　　　　　　　　　矩阵范数反映了线性映射把一个向量映射为另一个向量时，向量的“长度”缩放的比例。　　　　　　　　

向量的范数，就是表示这个原有集合的大小。
矩阵的范数，就是表示这个变化过程的大小的一个度量。

　　范数是把一个事物映射到非负实数，且满足非负性、齐次性、三角不等式，符合以上定义的都可以称之为范数，所以，范数的具体形式有很多种（由内积定义可以导出范数，范数还也可以有其他定义，或其他方式导出），要理解矩阵的算子范数，首先要理解向量范数的内涵。

矩阵的算子范数，是由向量范数导出的，

　　由矩阵算子范数的定义形式可知，矩阵A把向量x映射成向量Ax，取其在向量x范数为1所构成的闭集下的向量Ax范数最大值作为矩阵A的范数，即矩阵对向量缩放的比例的上界，矩阵的算子范数是相容的。由几何意义可知，矩阵的算子范数必然大于等于矩阵谱半径（最大特征值的绝对值），矩阵算子范数对应一个取到向量Ax范数最大时的向量x方向，谱半径对应最大特征值下的特征向量的方向。而矩阵的奇异值分解SVD，分解成左右各一个酉阵，和拟对角矩阵，可以理解为对向量先作旋转、再缩放、最后再旋转，奇异值，就是缩放的比例，最大奇异值就是谱半径的推广，所以，矩阵算子范数大于等于矩阵的最大奇异值，酉阵在此算子范数的意义下，范数大于等于1。此外，不同的矩阵范数是等价的。

　　范数理论是矩阵分析的基础，度量向量之间的距离、求极限等都会用到范数，范数还在机器学习、模式识别领域有着广泛的应用。

---

 零空间

 零向量一定包含在列空间中，因为线性变换必须保持原点位置不变

SP：对于一个满秩变换来说，唯一能在变换后落在原点的就是零向量自身

∴对于一个非满秩的变换来说，由于空间的压缩，会导致一系列的向量在变换后成为零向量

对于一个二维线性变换将空间压缩到一条直线上，则沿某个不同方向直线的所有向量都会被压缩到原点成为零向量

对于一个三维线性变换将空间压缩到一个平面上，则沿某条直线的所有向量都会被压缩到这个平面而成为零向量，进一步的，如果将这个三维空间压缩到一条直线上，则有一个平面的向量都被压缩为零向量

这些变换后的零向量所组成的空间就叫做零空间或核空间

 对于线性方程组Ax=v来说，当向量v恰好为零向量时，零空间就是这个方程组所有可能的解

---

对称矩阵、Hermite矩阵、正交矩阵、酉矩阵、奇异矩阵、正规矩阵、幂等矩阵、Jordan矩阵

http://blog.csdn.net/jbb0523/article/details/50596604

https://www.zhihu.com/question/65359974

Hermite阵是对称阵概念的推广

酉矩阵是正交阵概念的推广

---

最大似然估计和最小二乘

最大似然估计

　　现在已经拿到了很多个样本（你的数据集中所有因变量），这些样本值已经实现，最大似然估计就是去找到那个（组）参数估计值(因变量)，使得前面已经实现的样本值发生概率最大。因为你手头上的样本已经实现了，其发生概率最大才符合逻辑。这时是求样本所有观测的联合概率最大化，是个连乘积，只要取对数，就变成了线性加总。此时通过对参数求导数，并令一阶导数为零，就可以通过解方程（组），得到最大似然估计值。

最小二乘

　　找到一个（组）估计值，使得实际值与估计值的距离最小。本来用两者差的绝对值汇总并使之最小是最理想的，但绝对值在数学上求最小值比较麻烦，因而替代做法是，找一个（组）估计值，使得实际值与估计值之差的平方加总之后的值最小，称为最小二乘。“二乘”的英文为least square，其实英文的字面意思是“平方最小”。这时，将这个差的平方的和式对参数求导数，并取一阶导数为零，就是OLSE。

---

奇异值分解

几何意义

---

arg min arg max是什么鬼？

arg 是变元（即自变量argument）的英文缩写。

arg min 就是使后面这个式子达到最小值时的变量的取值
arg max 就是使后面这个式子达到最大值时的变量的取值

例如 函数F(x,y):

arg min F(x,y)就是指当F(x,y)取得最小值时，变量x,y的取值

arg max F(x,y)就是指当F(x,y)取得最大值时，变量x,y的取值

---

解析导数和数值导数

一般的求导是针对有明确函数表达式（显式、隐函数、反函数、参数方程等）的，运用求导法则求导即可。这个导数称为解析导数.

但实际问题中，往往只是得到自变量和因变量的一些离散的数据，也想得到因变量关于自变量的变化率，那就得用数值导数了，

一般是把原来的微分形式 ，换成差分形式 . 多元偏导也是类似的。

---