第一种降维方法称为主成分分析（PCA）。在PCA中，数据从原来的坐标系转换到了新的坐标系，新坐标系的选择是由数据本身决定的。第一个新坐标轴选择的是原始数据中方差做大的方向，第二个新坐标轴的选择和第一个坐标轴正交且具有最大方差的方向。该过程一直重复，重复次数为原始数据中特征的数目。我们会发现，大部分方差都包含在最前面的几个新坐标轴中。因此，我们可以忽略余下的坐标轴，即对数据进行降维处理。
主成分分析的优缺点
优点：降低数据的复杂性，识别最重要的多个特征。
缺点：不一定需要，且可能损失有用信息。
适用数据类型：数值型数据
另一种降维技术是因子分析。在因子分析中，我们假设在观察数据的生成中有一些观察不到的隐变量。假设观察数据是这些隐变量和某些噪声的线性组合，那么隐变量的数据可能比观察数据的数目少，也就是说通过找到因变量就可以实现数据的降维。因子分析已经应用于社会科学、金融和其他领域中了
还有一种降维技术就是独立主成分分析（ICA），ICA假设数据是从N个数据源生成的，这一点和因子分析有些类似，假设数据为多个数据元的混合观察结果，这些数据源之间在统计上是相互独立的，而在PCA中只假设数据是不相关的。同因子分析一样，如果数据源的数目少于观察数据的数目，则可以实现降维过程。
小结：
降维技术使得数据变得更易使用，并且他们往往能够去除数据中的噪声，使得其他机器学习任务更加精确。降维往往作为预处理的步骤，在数据应用到其他算法之前清洗数据。有很多技术可以用于数据降维，在这些技术中，独立主成分分析、因子分析和主成分分许比较流行，其中又以主成分分析应用最广泛
PCA可以从数据中识别其主要特征，它是通过沿着数据最大方差方向旋转坐标轴来实现的。选择方差最大的方向作为第一条坐标轴，后续坐标轴则与前面的坐标轴正交，协方差矩阵上的特征值分析可以用一系列的正交坐标轴来获取。