其他

package com.xing.listfile/** * Created by DengNi on 2017/2/12. * * Scala類型系統編程實戰： * 1，Scala的類和方法、函數都可以是泛型，在Spark源碼中可以到處看到類和方法的泛型，在實際執行個體化的時候指定具體 * 的類型，例如Spark最核心、最基礎、最重要的抽象資料結構RDD裡面關於RDD的類的定義是泛型的，RDD的幾乎所有方法 *

從spark1.2 到spark1.3，spark SQL中的SchemaRDD變為了DataFrame，DataFrame相對於SchemaRDD有了較大改變，同時提供了更多好用且方便的API。 DataFrame將資料寫入hive中時，預設的是hive預設資料庫，insertInto沒有指定資料庫的參數，本文使用了下面方式將資料寫入hive表或者hive表的分區中，僅供參考。 1、將DataFrame資料寫入到Hive表中

package com.xing.listfile/** * Created by DengNi on 2017/2/15. */case class DataWarehouse(name :String ,age :Int)object ExtrctMethod extends App{ val dw = DataWarehouse("spark",100) //調用apply Factory 方法 構造出類的執行個體對象 val

awk非常的優秀，運行效率高，而且代碼簡單，對格式化的文本處理能力超強。基本上grep和sed能乾的活awk全部都能幹，而且幹得更好。 awk '{pattern + action}' {filenames} 儘管操作可能會很複雜，但文法總是這樣，其中 pattern 表示 AWK 在資料中尋找的內容，而 action 是在找到匹配內容時所執行的一系列命令。花括弧（{}）不需要在程式中始終出現，但它們用於根據特定的模式對一系列指令進行分組。

package com./** * Created by xxxx on 2/16/2017. */object Test extends App{ def Nn(): Unit ={ for(x <- 1 to 9 ; y <- 1 to 9 ; if(x>=y)){ val xy = if(x*y < 10) x*y +" " else x*y print( y +" * " +x

請參考原作者 ，謝 ，http://m.blog.itpub.net/30089851/viewspace-2121221/ 1.版本Hadoop2.7.2+HBase1.1.5+Hive2.0.0kylin-1.5.1Kylin1.5 (apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz)2.Hadoop環境編譯以支援Snappy解壓縮庫重新編譯hadoop-2.7.2-src的native以支援Snappy解壓壓縮庫3.環境準備Hadoop-2.

各軟體版本： Java : 1.7.0_79 Hadoop ： hadoop-2.6.5-src.tar.gz maven：3.3.9 protocbuf：2.5 解壓縮 tar -zxvf  1 配置maven 環境變數 export MAVEN_HOME=/root/compileHadoop/maven-3.3.9 export PATH=$PATH:$MAVEN_HOME/bin source ~/.bash_profile 檢查

八皇后問題 回溯遞迴 C語言版 #include <stdio.h>#include <stdlib.h>#define max 8int queen[max], sum=0; /* max為棋盤最大座標 */void show() /* 輸出所有皇后的座標 */{ int i; for(i = 0; i < max; i++) { printf("(%d,%d) ", i, queen[i]);

請移步原文 http://blog.csdn.net/nisjlvhudy/article/details/7889422 一、概述 在多維分析的商業智慧解決方案中，根據事實表和維度資料表的關係，又可將常見的模型分為星型模型和雪花型模型。在設計邏輯型資料的模型的時候，就應考慮資料是按照星型模型還是雪花型模型進行組織。 當所有維表都直接連接到“ 事實表”上時，整個圖解就像星星一樣，故將該模型稱為星型模型，如圖 1 。

1、什麼是位元(Bit),什麼是位元組(Byte),什麼是字元(Char),它們長度是多少,各有什麼區別  Bit就是位元位,是電腦最小的二進位單位,取值0或1, Byte佔有8個位元位, 取值-128~127 Char佔有兩個位元組,16個位元位,取值0~65535 Bit是資料存放區最小單位,電腦只認識0和1 Byte是電腦儲存容量的基本單位 Char是java的一種基礎資料型別 (Elementary Data Type)

資料檔案來自 ：http://archive.ics.uci.edu/ml/datasets/Wholesale+customers?cm_mc_uid=21918109261714715776095&cm_mc_sid_50200000=1476090999 import org.apache.spark.{SparkContext, SparkConf}import org.apache.spark.mllib.clustering.{KMeans,

create external table demo (userid int ,name string ,address string)comment 'demo'partitioned by (txdate string ,txhour string)row format delimited fields terminated by '\t'lines terminated by '\n' stored as parquet //parquet 是採用列式儲存的 sorted as

原文地址http://blog.itpub.net/23659908/viewspace-1118762/  Thank you . 資料倉儲的模型設計 A. 資料建模方法論 資料倉儲模型設計遵循“自頂向下、逐步求精”的設計原則。 模型設計分為三個階段： 1，概念性模型 對業務的範圍和使用，從高度上進行抽象概括，也就是劃分主題域。 一般劃分為8個主題域： 客戶、服務、服務使用、賬務、結算、資源、客服、營銷 為什麼要劃分主題域。

         隨著公司Agile 和 DevOps 工作的深入展開，在一個team squad 中出現了更加清晰的角色，在眾多角色中我們出現了一個IM 的角色 ，本期文章我們探討下 IM 在一個乃至多個squad 中的定位和作用，是否能夠為項目更好的迭代和運營提供支援以及品質保證，同時也能夠team member 在有限的時間內做完指派的內務而同時也能保證有一定的時間繼續提高技術和業務技能。

package com.xing.listfile/** * Created by DengNi on 2017/2/12. * * 1,在Scala的集合體系中Iterable是共同的Trait，Iterable要求繼承者實現一些共同的方法，例如對元素的遍曆等； * 2，Array是一個非常基礎的資料結構，不從屬於Scala集合的體系； * 3，Scala的集合體系中集合分為可變集合與不可變集合之分；不可變的集合在scala.collection.immutable包中，可變 *

package com.xing.listfile/** * Created by DengNi on 2017/2/11. */class DataFrameworkcase class ComputationFramework(val name:String,val age:Int) extends DataFrameworkcase class StorageFramework(name:String ,age :Int) extends DataFrameworkobject

去官網找到自己需要的版本並下載。https://www.visualstudio.com/zh-hans/downloads/ 開啟下載好的檔案所在的檔案夾，開啟命令視窗 PowerShell對應的命令如下 企業版： .\vs_enterprise.exe –layout c:\vs2017offline 專業版： .\vs_professional.exe –layout c:\vs2017offline 社區版： .\vs_community.exe –layout

package com.xing.listfile/** * Created by DengNi on 2017/2/11. */object functionalProgramming { def main(args: Array[String]) { // 把函數賦值給一個變數 val hs = helloSpark _ //此處應該是一個不可變數，但是如果是可變的話 也可以運行 但是代碼中會提示不可變 val hs("spark") /

為何學習 { 可拓展    -->  物件導向   函數式編程 相容java    -->    類庫相容  互操作 文法簡潔  -->    程式碼段  類型推斷  抽象控制  靜態類型化   -->   

案例介紹與編程實現 1. 案例介紹 該案例中，我們假設某論壇需要根據使用者對站內網頁的點擊量，停留時間，以及是否點贊，來近即時的計算網頁熱度，進而動態更新網站的今日熱點模組，把最熱話題的連結顯示其中。 2. 案例分析 對於某一個訪問論壇的使用者，我們需要對他的行為資料做一個抽象，以便於解釋網頁話題熱度的計算過程。 首先，我們通過一個向量來定義使用者對於某個網頁的行為即點擊的網頁，停留時間，以及是否點贊，可以表示如下：