理想论坛_专业20年的财经股票炒股论坛交流社区 - 股票论坛

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 2540|回复: 0

Deep Clustering Algorithms

[复制链接]

9650

主题

9650

帖子

2万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
28966
发表于 2019-12-27 13:20 | 显示全部楼层 |阅读模式
Deep Clustering Algorithms

作者:凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/
    本文研讨门路:深度自编码器(Deep Autoencoder)->Deep Embedded Clustering(DEC)->Improved Deep Embedded clustering(IDEC)->Deep Fuzzy K-means(DFKM),其中Deep Autoencoder已经在深度自编码器(Deep Autoencoder)MATLAB解读中提到,也有很多深度自编码器的改良方式,不具体讲授,重点谈深度聚类算法。若有差池之处,望斧正。
    深度聚类算法的收集架构图

    深度聚类算法的损失函数

1. Deep Embedded Clustering

1.1 Stochastic Neighbor Embedding (SNE)

    SNE是一种非线性降维计谋,两个特征之间存在非线性关连性,严重用于数据可视化,PCA(主成成分分析)是一种线性降维计谋,两个特征之间存在线性关连性。SNE在原始空间(高维空间)中利用Gauss散布将数据点之间的间隔怀抱转化为条件几率,在映照空间(低维空间)中利用Gauss散布将映照点之间的间隔怀抱转化为条件几率,并利用KL散度来最小化高维空间与低维空间的条件几率。

    SNE面临的题目有两个:(1)KL散度是一种非对称怀抱,(2)拥堵题目。对于非对称题目,界说pij,将非对称怀抱转化为对称怀抱。但对称怀抱仍然面临拥堵题目,映照到低维空间中,映照点之间不能按照数据自己的特征很好地分隔。

    对于拥堵题目(The Crowding Problem)的治理,提出t-SNE,一种非线性降维计谋,严重用于可视化数据。引入厚尾部的门生t散布,将低维空间映照点之间的间隔怀抱转化为几率散布t散布qij,使得不同簇之间的点能很好地分隔。
1.2 t-SNE


1.3 Deep Embedded Clustering(DEC)

    受t-SNE的启发,提出DEC算法,重新界说原始空间(高维空间)的怀抱pij。微调阶段,舍弃掉编码器层,最小化KL散度作为损失函数,迭代更新参数。

2. Improved Deep Embedded Clustering(IDEC)

    DEC抛弃解码器层,并利用聚类损失Lc对编码器举行微调。作者以为这类微调会扭曲嵌入空间,削弱嵌入特征的代表性,从而影响聚类性能。是以,提出连结解码器层稳定,间接将聚类损失附加到嵌入空间。

3. Deep Fuzzy K-means

    Deep Fuzzy K-means一样在低维映照空间中加入聚类进程,将特征提取与聚类同时举行,引入熵加权的含糊K-means,不采取本来的欧氏间隔,而是自己重新界说怀抱原则,权值偏置的正则化项避免过拟合,进步泛化本事。




4. 参考文献

[1] Maaten L, Hinton G. Visualizing data using t-SNE[J]. Journal of machine learning research, 2008, 9(Nov): 2579-2605.
[2] Vincent P, Larochelle H, Lajoie I, et al. Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion[J]. Journal of machine learning research, 2010, 11(Dec): 3371-3408.
[3] Xie J, Girshick R, Farhadi A. Unsupervised deep embedding for clustering analysis[C]//International conference on machine learning. 2016: 478-487.
[4] Guo X, Gao L, Liu X, et al. Improved deep embedded clustering with local structure preservation[C]//IJCAI. 2017: 1753-1759.
[5] Zhang R, Li X, Zhang H, et al. Deep Fuzzy K-Means with Adaptive Loss and Entropy Regularization[J]. IEEE Transactions on Fuzzy Systems, 2019.
[6] t-SNE关连材料:t-SNE完整笔记An illustrated introduction to the t-SNE algorithm从SNE到t-SNE再到LargeVist-SNE算法-CSDN
[7] DEC与IDEC的Python代码-Github
[8] DFKM的Python代码-Github

免责声明:假如加害了您的权益,请联系站长,我们会实时删除侵权内容,感谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|理想论坛_专业20年的财经股票炒股论坛交流社区 - 股票论坛

GMT+8, 2020-7-3 06:12 , Processed in 0.159970 second(s), 29 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表