关于t-SNE降维方法

论文原图是这样的：

image.png

1. 什么是t-SNE:

全名是t-distributed Stochastic Neighbor Embedding(t-SNE)，翻译过来应该可以叫学生t分布的随机邻点嵌入法。

t-SNE将数据点之间的相似度转换为概率。原始空间中的相似度由高斯联合概率表示，嵌入空间的相似度由“学生t分布”表示。t-SNE在一些降维方法中表现得比较好。因为t-SNE主要是关注数据的局部结构。

通过原始空间和嵌入空间的联合概率的Kullback-Leibler(KL)散度来评估可视化效果的好坏，也就是说用有关KL散度的函数作为loss函数，然后通过梯度下降最小化loss函数，最终获得收敛结果。

正式点来描述就是：

给定一组

个点

, t-SNE 首先计算

和

之间的相似度

。这个相似度公式定义为：

对于每个

都有

，这里就是用的高斯核了，只涉及到一个参数

.

for some parameter

. Intuitively, the value

measures the `similarity' between points

and

. t-SNE then aims to learn the lower dimensional points

such that if

, then

minimizes the