spark MlLib (4)

Spark机器学习笔记(4)CollaborativeFiltering协同过滤这个算法主要基于对矩阵的低秩假设,把一个大矩阵分解成两个矩阵,把大矩阵看作两个矩阵相乘,然后使相乘后的矩阵和原来的矩阵误差最小SparkConfsparkConf=newSparkConf().setAppName(&q

#spark  

spark mllib (3)

Spark机器学习笔记(3)分类模型和回归模型SVM支持向量机支持向量机(supportvectormachine)是一种分类算法,通过寻求结构化风险最小来提高学习机泛化能力,实现经验风险和置信范围的最小化,从而达到在统计样本量较少的情况下,亦能获得良好统计规律的目的。通俗来讲,它是一种二类分类模型

#spark  

spark mllib (2)

Spark机器学习笔记(2)BasicStatistics-RDD-basedAPI基本的统计Summarystatistics累计统计colStats()returnsaninstanceofMultivariateStatisticalSummary,whichcontainsthecolumn

#spark  

spark MLlib (1)

Spark机器学习笔记(1)Spark的基本数据类型LocalvectorAlocalvectorhasinteger-typedand0-basedindicesanddouble-typedvalues,storedonasinglemachine.MLlibsupportstwotypesof

#spark