spark提供了一个机器学习库,spark ml包,可以在spark中直接引入使用
import org.apache.spark.ml.clustering.{KMeans,KMeansModel}
import org.apache.spark.ml.linalg.Vectors
1. 常用聚类算法
k-means 算法
GMM 高斯混合模型
PIC 快速迭代聚类
LDA 隐式狄利克雷分布
二分k-means算法
流式k-means算法
2. 常用分类算法
决策树
朴素贝叶斯分类
3. 常用降维算法
EVD 特征值分解
4. 什么时候用聚类,什么时候用分类
分类是把数据划分到已经定义好的类别中,输出的是离散的类别,是一种有指导的学习;
聚类最主要的功能是降维到,根据文本的相似度归类,把相似的聚在一起,简单讲,就是“物以类聚,归类化简”。
聚类适用于大样本数据,杂乱数据简单化,归类。
扫码加入我的知识星球:“时空大数据”,可获取更多更高品质的地图、地理信息、GIS、大数据、时空分析、实景三维、地图可视化等方面的知识和文件,前20名可享5折优惠券。
