I. 范数(Norm)
定义:
向量空间(V)上的范数(norm)是如下函数:
该函数会赋予每个向量(x)自身的长度(|x|∈R),并且对于(lambda∈R,\,\,x,y∈V)满足如下性质:
- Absolutely homogeneous:(|lambda x|=|lambda||x|)
- Triangle inequality:(|x+y|≤|x|+|y|)
Positive definite:(|x|≥0)且(|x|=0Leftrightarrow x=0)
(L^p) norm 公式如右: (|x|_p=(sum_i|x_i|^p)^{frac{1}{p}}) for (p∈R,p≥1).
1) (L^1) Norm
这个也叫Manhattan norm。
二范式在零点附近增长很慢，而且有的机器学习应用需要在零点和非零点之间进行区分，此时二范式显得力不从心，所以我们可以选择一范式,即(L^1) norm,其表达式为：(|x|_1=sum_i|x_i|).
2) (L^2) Norm
这个也叫Euclidean norm。
最常用的是二范式，即(L^2) norm,也称为Euclidean norm(欧几里得范数)。因为在机器学习中常用到求导，二范式求导之后只与输入数据本身有关，所以比较实用。
3) (L^0) Norm
0范式表示矢量中非0的元素的个数。其实0范式这个说法是不严谨的，因为它不满足第三个条件，but whatever~
4) (L^∞) Norm
无穷大范式，也叫max norm,它表示矢量中所有元素绝对值的最大值，即
5) F norm
F norm全称是Frobenius Norm,其表达式如下:
II. 内积(Inner Products)
内积的一个主要目的是用来判断两个向量是否互相正交。另外内积并没有明确的定义，他只是一个广泛的定义，也就是说我们可以根据需要定义内积，例如我们可以把内积定义成点积的形式等等。
1. 点积(Dot Product)
一种常见的内积形式是向量空间(R^n)内的点积(Dot Product/ Scalar Product)，计算公式如下：
2. General Inner Products
在对内积给出一般性的定义之前需要做一些铺垫:
- 双向映射(Bilinear Mapping)
维基百科上的定义:A bilinear map is a function combining elements of two vector spaces to yield an element of a third vector space, and is linear in each of its arguments.
看定义其实不太好懂什么是bilinear mapping,stackexchange上有人给出了简单定义，即可以简单理解为满足如下性质的映射即为双向映射:
(B(x+y,z) = B(x,z) + B(y,z))(additive in the first "coordinate"),
(B(x,y+z) = B(x,y) + B(x,z)) (additive in the second "coordinate"),
(B(cx,y) = cB(x,y) = B(x,cy))preserves scaling in each "coordinate").
再简单快捷理解的方式就是将(B)理解成实数的乘法，即:
(B(a,b)=a·b)
(B(x+y,z) = (x+y)cdot z = xcdot z + ycdot z = B(x,z) + B(y,z))
(B(x,y+z) = xcdot (y+z) = xcdot y + xcdot z = B(x,y) + B(x,z))
(B(cx,z) = (cx)cdot z = ccdot(xz) = xcdot(cz) = B(x,cz))
这样有没有好理解很多？
- 又一个定义
假设(V)为向量空间，(Omega:V×V→R)是一个bilinear mapping,它能将两个向量映射到一个实数上。那么
- 若(Omega(x,y)=Omega(y,x)),则称(Omega)是对称的。
若(forall x∈V ackslash {0}:Omega(x,x)>0,\,\,\,Omega(0,0)=0),则称(Omega)为正定(positive definite)。
- 内积的定义
假设(V)为向量空间，(Omega:V×V→R)是一个bilinear mapping,它能将两个向量映射到一个实数上。那么
- 一个正定(positive definite)且对称的bilinear mapping(Omega:V×V→R)被称为在向量空间(V)上的内积(inner product),一般记为(<x,y>),而不是(Omega(x,y))。
- ((V,<·,·>))称为内积空间(inner product space)
3. 对称正定矩阵(Symmetric,Positive Definite Matrices)
定义:
满足如下条件的对称矩阵(A∈R^{n×n})称为对称正定矩阵或正定矩阵
[forall{x∈Vackslash{0}}:x^TAx>0 ]若上式中的>换成≥，则该矩阵为对称半正定矩阵。
例子：
正定矩阵(A)有如下性质：
- (A)的kernel (null space)只包含(0),因为当(x≠0)时，(x^TAx>0)。
- (A)的对角元素(a_{ii})都是正的，因为(a_{ii}=e_i^TAe_i>0),其中(e_i)表示第(i)个标准基。
III. 内积的应用
我们可以通过定义内积从而定义长度(length),距离(distance)，角度(angle),正交(orthogonal)等。
- 长度&距离
其实长度和距离可以是等价的，定义如下:
假设有内积空间((V,<·,·>)),那么如下表达式表示(x,y∈V)之间的距离
[d(x,y)=|x-y|=sqrt{<x-y,x-y>} ]如果我们使用点积作为内积，那么上面定义的距离则为欧几里得距离(Euclidean distance),其中映射
egin{align}
cos,mathcal{w}&=frac{<x,y>}{sqrt{<x,x><y,y>}}
otag
(dot,,product)&=frac{x^Ty}{sqrt{x^Tx,y^Ty}}
otag
Rightarrow w &= arccosfrac{<x,y>}{sqrt{<x,x><y,y>}}
otag
end{align}