spark RDD countApproxDistinct

標籤：spark   rdd   countapproxdistinct   

package com.latrobe.sparkimport org.apache.spark.{SparkConf, SparkContext}/** * Created by spark on 15-1-18. * countApproxDistinct : RDD的一個方法，作用是對RDD集合內容進行去重統計。 * 該統計是一個大約的統計，參數relativeSD控制統計的精確度。 * relativeSD越小，結果越準確 */object CountApproxDistinct {  def main(args: Array[String]) {    val conf = new SparkConf().setAppName("spark-demo").setMaster("local")    val sc = new SparkContext(conf)    /**     * 構建一個集合，分成20個partition     */    val a = sc.parallelize(1 to 10000 , 20)    //RDD a內容複寫5遍，其中有50000個元素    val b = a++a++a++a++a    //結果是9760，不傳參數，預設是0.05    println(b.countApproxDistinct())    //結果是9760    println(b.countApproxDistinct(0.05))    //8224    println(b.countApproxDistinct(0.1))    //10000    println(b.countApproxDistinct(0.001))  }}

spark RDD countApproxDistinct