t-SNE降维算法

参考资料

• https://www.bilibili.com/video/BV1cU4y1w74A?t=2.7
• http://www.datakit.cn/blog/2017/02/05/t_sne_full.html ## SNE ### 基本原理
  • 高维样本点间的位置关系
  • 低维样本间的位置关系
  • 利用KL散度衡量两个分布之间的距离
  • 通过梯度下降, 调整y, 使C变小 ### 缺点 #### 距离不对称
• 定义: i和j的距离与j和i的距离是不同的
• 解决方法
  • 使用联合概率(实现复杂)

拥挤显现

• 定义: 在高维空间中距离较大的点在低维空间中距离会很小
• 解决方法: 使用t分布

t-SNE

t-SNE的一般步骤如下: - 计算, 利用结果计算, 并对其进行归一化 - 根据t分布公式随机生成 - 利用梯度下降方法, 根据KL散度计算, 令C最小