通過spark-shell實現聚類演算法

標籤：

spark版本 1.3.1

scala版本 2.11.6

參考官網 http://spark.apache.org/docs/latest/mllib-clustering.html

運行spark-shell後,首先匯入需要的模組

import org.apache.spark.mllib.clustering.KMeans

import org.apache.spark.mllib.linalg.Vectors

// Load and parse the data

val data = sc.textFile("/home/hadoop/hadoopdata/data3.txt")  //每行一個樣本, 樣本的特徵用空格分開


val parsedData = data.map(s => Vectors.dense(s.split(‘ ‘).map(_.toDouble))).cache()

val clusters = KMeans.train(parsedData, numClusters, numIterations, parallRunNums) //其中後三個要替換成自己設定的數字

//聚類中心val clusterCenters=clusters.clusterCenters//聚類結果標籤val labels=clusters.predict(parsedData)//儲存結果labels.saveAsTextFile("/home/hadoop/hadoopdata/result3") //結果儲存在result3這個檔案夾中

通過spark-shell實現聚類演算法