一、PCA
在之前讲述过如何使用PCA以及背后的基本的几何原理。但是并没有给出详细的数学推导，因此，在这里补上PCA的详细数学推导过程。
支持向量回归SVR
前言
在之前都是在讨论SVM，即支持向量机在分类中的使用，但是有很多的问题是回归问题，给出的标签值是一个连续值，能不能使用SVM或者其他的关于SVM的技术来处理分类问题呢，实际上是可以的，这个就是使用支持向量回归模型（Support Vector Regression， SVR）。
线性不可分支持向量机
一、硬间隔SVM和软间隔SVM
前面简单介绍了以下线性可分SVM，本质上前面介绍的SVM属于硬间隔SVM，因为我们已经知道存在一个超平面 \(S:\omega \cdot x + b = 0\) 可以将所有的样本数据完美分开。但是实际上，并不是所有的样本数据都这么完美。有时候存在这种情况，给定一个样本数据集，绝大多数的样本都是线性可分的，但是存在某些特别的样本是线性不可分的。例如，如果我们将 \(y = 0\) 这条直线看作一个分类的超平面， \(y = 0\) 以上的点标记为1， \(y = 0\) 以下的点标记为-1，那么绝大多数的样本点符合这个规则，但是有一些点位于 \(y = 0\) 以上，却被标记为-1，有些点位于 \(y = 0\) 以下，却被标记为了1，这样就会导致整个数据集线性不可分。
线性可分支持向量机
一、支持向量机
支持向量机（support vector machines，简称SVM）是一种非常高效的分类器，在神经网络出现前，SVM被称为最强分类器。SVM的核心思想就是，对于两个类别的数据，每个数据点都可以抽象为多维空间中的一个坐标点，每一个点都对应于一个标签。那么我们已经知道这两个类别可以被一个超平面相隔开，即在超平面的一侧是一个类别，另一侧是另一个类别。很明显。在绝大多数情况下，这样的超平面并不唯一。其中，将两个类别分开，并且距离两个类别中离超平面最近的若干个点距离之和最大的那一个超平面则最能满足我们的要求。因为有这样的一个超平面，所有当我们引入一个新的样本数据时，我们就有最高的把握可以将这个新的样本点分类正确。这就是SVM的核心思想。
反向传播算法（三）之完整的反向传播算法
前言
前面介绍了单层全连接层并使用激活函数激活的情况，尝试去进行了多样本的梯度下降计算，这一篇文章打算简单介绍一下多层全连接层的梯度下降的情况，重点在于如何进行梯度的向后传播。还是请注意：这里的所有推导过程都只是针对当前设置的参数信息，并不具有一般性，但是所有的推导过程可以推导到一般的运算，因此以下给出的并不是反向传播算法的严格证明，但是可以很好的帮助理解反向传播算法。
反向传播算法（二）之稍复杂的反向传播
前言
前面介绍了单层全连接层，并且没有使用激活函数，这种情况比较简单，这一篇文章打算简单介绍一下多个输出，以及使用激活函数进行非线性激活的情况。还是请注意：这里的所有推导过程都只是针对当前设置的参数信息，并不具有一般性，但是所有的推导过程可以推导到一般的运算，因此以下给出的并不是反向传播算法的严格证明，但是可以很好的帮助理解反向传播算法。
反向传播算法（一）之反向传播入门
一、反向传播算法
近年来，深度学习的快速发展带来了一系列喜人的成果，不管是在图像领域还是在NLP领域，深度学习都显示了其极其强大的能力。而深度学习之所以可以进行大规模的参数运算，反向传播算法功不可没，可以说，没有反向传播算法，深度学习就不可能得以快速发展，因此在此之前，有必要了解一下反向传播算法的具体原理和公式推导。请注意：这里的所有推导过程都只是针对当前设置的参数信息，并不具有一般性，但是所有的推导过程可以推导到一般的运算，因此以下给出的并不是反向传播算法的严格证明，但是可以很好的帮助理解反向传播算法。