生成对抗网络是近年来比较热门的话题，这次我们来简单聊一聊它与流形学习之间的关系。
局部线性嵌入
局部线性嵌入（Locally Linear Embedding，LLE）是流形学习（Manifold Learning）中的一种方法。在流形方法中，我们假设数据分布在一个流形上。换句话说，每个样本领域内的邻居都近似形成一个局部的线性子空间。LLE 的基本想法是：由于每个领域都假设成了线性空间，那么每个分片（patch）数据都能由领域内的邻居来逼近、重构。它主要包含以下步骤：
-
对每一个样本 $x_i$，寻找其 $k$ 近邻；
-
寻找权重矩阵 $\boldsymbol{W}$ 来最小化从领域内的邻居重构 $x_i$ 的误差，其代价函数$L$为： $$ L(\boldsymbol{W}) = \sum_{i=1}^{n}{||x_i - \sum_{j\neq i}{w_{ij}x_j}||^2} $$ 当且仅当 $x_j$ 是$X_i$ 的 $k$ 邻居时，有 $w_{ij} = 0$；否则对于任意的 $i$，有 $\sum_j{w_{ij} = 1}$
-
使用步骤 2 中得到的矩阵，寻找坐标系 $\boldsymbol{Y}$ 最小化重构误差： $$ \Phi(\boldsymbol{Y}) = \sum_{i=1}^{n}{||y_i - \sum_{j\neq i}{w_{ij}y_j||^2}} $$ 对所有的 $j$ 服从 $\sum_{i}{y_{ij}} = 0$，并且 $\boldsymbol{Y}^T \boldsymbol{Y} = \boldsymbol{I}$