向量（ vector）：一个向量是一列数。这些数是有序排列的。通过次序中的索引，我们可以确定每个单独的数。
张量（ tensor）：在某些情况下，我们会讨论坐标超过两维的数组。一般地，一个数组中的元素分布在若干维坐标的规则网格中，我们将其称之为张量。我们使用字体 A 来表示张量 “A’’。张量 A 中坐标为 ( i, j , k ) 的元素记作 Ai,j,k。
标量与矩阵相加或相乘：向量与矩阵的每一个元素相加或相乘。
C = A + b : 矩阵的每一行与向量b相加（广播）。
矩阵乘法是矩阵运算中最重要的操作之一。两个矩阵 A 和 B 的 矩阵乘积（matrix product）是第三个矩阵 C。为了使乘法定义良好，矩阵 A 的列数必须和矩阵 B 的行数相等。如果矩阵 A 的形状是 m × n，矩阵 B 的形状是 n × p，那么矩阵C 的形状是 m× p。我们可以通过将两个或多个矩阵并列放置以书写矩阵乘法，例如C = AB。
Hadamard 乘积（ Hadamard product），记为 A ⊙ B，对应元素相乘。
两个相同维数的向量 x 和 y 的 点积（ dot product）可看作是矩阵乘积 xTy。
现在我们已经知道了足够多的线性代数符号，可以表达下列线性方程组：
Ax = b
其中 A ∈ Rm × n 是一个已知矩阵， b ∈ Rm 是一个已知向量， x ∈ Rn 是一个我们要求解的未知向量。向量 x 的每一个元素 xi 都是未知的。
逆矩阵：A-1A = I (I为单位矩阵，即矩阵对角线数为1，其余全为0)。
范数：Lp 范数定义如下：
当 p = 2 时， L2 范数被称为 欧几里得范数（ Euclidean norm）。它表示从原点出发到向量 x 确定的点的欧几里得距离。
平方 L2 范数也经常用来衡量向量的大小，可以简单地通过点积 x⊤x 计算。