生成对抗网络是近年来比较热门的话题,这次我们来简单聊一聊它与流形学习之间的关系。
局部线性嵌入
局部线性嵌入(Locally Linear Embedding,LLE)是流形学习(Manifold Learning)中的一种方法。在流形方法中,我们假设数据分布在一个流形上。换句话说,每个样本领域内的邻居都近似形成一个局部的线性子空间。LLE 的基本想法是:由于每个领域都假设成了线性空间,那么每个分片(patch)数据都能由领域内的邻居来逼近、重构。它主要包含以下步骤:
-
对每一个样本 $x_i$,寻找其 $k$ 近邻;
-
寻找权重矩阵 $\boldsymbol{W}$ 来最小化从领域内的邻居重构 $x_i$ 的误差,其代价函数$L$为: $$ L(\boldsymbol{W}) = \sum_{i=1}^{n}{||x_i - \sum_{j\neq i}{w_{ij}x_j}||^2} $$ 当且仅当 $x_j$ 是$X_i$ 的 $k$ 邻居时,有 $w_{ij} = 0$;否则对于任意的 $i$,有 $\sum_j{w_{ij} = 1}$
-
使用步骤 2 中得到的矩阵,寻找坐标系 $\boldsymbol{Y}$ 最小化重构误差: $$ \Phi(\boldsymbol{Y}) = \sum_{i=1}^{n}{||y_i - \sum_{j\neq i}{w_{ij}y_j||^2}} $$ 对所有的 $j$ 服从 $\sum_{i}{y_{ij}} = 0$,并且 $\boldsymbol{Y}^T \boldsymbol{Y} = \boldsymbol{I}$