Big Data

標籤：前幾天上了水木社區，發現還是有大牛的，看了關於大資料和資料庫的討論，發現還是蠻有意思的，限於篇幅和版面，我做了部分的整理。 先看看這位人士的分析，對於行業的現狀還是很有瞭解，不是大學教授就是行業先鋒。#####################################大資料是一種方案，而不是一種模型。方案有方案的壓力， 只能使出各種絕招來“解決”問題。既然是方案，就包括了存貯，運算，輸入和輸出等等。 就運算模型上，因為要更好地採用廉價硬體，

標籤：眾所周知，java在處理資料量比較大的時候，載入到記憶體必然會導致記憶體溢出，而在一些資料處理中我們不得不去處理海量資料，在做資料處理中，我們常見的手段是分解，壓縮，並行，臨時檔案等方法;　　例如，我們要將資料庫(不論是什麼資料庫)的資料匯出到一個檔案，一般是Excel或文字格式設定的CSV;對於Excel來講，對於POI和JXL的介面，你很多時候沒有辦法去控制記憶體什麼時候向磁碟寫入，很噁心，而且這些API在記憶體構造的對象大小將比資料原有的大小要大很多倍數，所以你不得不去拆分Excel

標籤：Array：儲存方式-------索引儲存Dictionary、Object：儲存方式---------散列儲存區別：可以說它們的 key 都 對應 各自的引用，但是索引儲存要求 key 是 0，1,2...這樣按序列的正整數。有什麼區別呢，

標籤：DT大資料夢工廠 第81講http://yun.baidu.com/s/1uLFye本節王老師講了list的逆變，協變，下界。abstaract class Big_Dataclass Hadoop extends Big_Data//一種 類型class Spark extends Big_Data//另一種類型object List_Constructor _Internals{ def

標籤：接下來會講解關於各種模式比對，從中就會知道模式比對的重要性關於Type、Array、List、Tuple模式解析　　1.Type模式比對代碼解析 //關於Type類型的模式比對 //匹配 Int類型、string類型、Map類型[_,_]代表任意類型的k,v def match_type(t : Any) = t match { case p : Int => println("It is Integer") case p : String =>

標籤：由於昨天下班後有點困，就沒有來及寫部落格，今天會把它補上！把這個習慣堅持下去！關於Scala高階函數詳解　　1.Scala高階函數代碼實現：高階函數就是在我們函數中套用函數　　2.高階函數代碼詳解：高階函數能夠讓方法的調用更加便捷 println("Welcome to the Scala worksheet") //> Welcome to the Scala worksheet //(1 to 9)數組中的map方法向數組中放* 用foreach用於來迴圈

標籤：作者是麻省理工的學者，研究的社會物理學，主要的關注點是想法流（idea flow）的傳播的規律。看完後基本的感覺是社會物理學的內容比較有新意，另外這是嚴肅的社會學研究而不是拍腦袋空想。但是全書的缺陷社會物理學作為一門科學，書中提出來的規律、定理太少了。社會物理學的實際應用，也相對偏少，還處在個案階段。以下是書中提到的社會物理學的幾個實際的應用。1：作者及其團隊分析一個金融交易員的線上社區eToro的使用者之間的互動後找出了提升交易員業績的辦法：有些人太獨立特行，有些人太過關注其他人的想法，

標籤：Scala多重繼承、構造器的執行順序、AOP實現多重繼承的trait實現：Scala中介面可以繼承具體的類，trait介面可以實現多重繼承，並且某個類也可以繼承特定的類，在繼承後面可以混入，介面的實現多重繼承構造器執行順序：多重繼承構造器執行順序是從左至右按次序執行，如果前面類以及被繼承實現了，後面的類就沒有必要去實現，父類只需執行一次object triatScala { def main(args: Array[String]): Unit = { val t1 = new

標籤：Scala中繼承實現：超類的構造、欄位重寫、方法重寫關於超類的構建：超類可以在子類沒有位置的限制，可以在子類中調用父類的方法類中欄位重寫：在重寫欄位前面加一個override就可以重新賦值類中方法重寫：與欄位重寫差不多，參數，方法名也要相同 class Person1(val name : String, var age : Int){ println("The primary constructor of Person") val school = "BJU" def

標籤：轉載自http://www.ibm.com/developerworks/cn/opensource/os-twitterstorm/串流大資料簡介Storm 是一個開源的、大資料處理系統，與其他系統不同，它旨在用於分布式即時處理且與語言無關。瞭解 Twitter Storm、它的架構，以及批處理和串流解決方案的發展形勢。Hadoop（大資料分析領域無可爭辯的王者）專註於批處理。這種模型對許多情形（比如為網頁建立索引）已經足夠，但還存在其他一些使用模型，它們需要來自高度動態來源的即時資訊。

標籤：?迅速發展的互連網技術仍在繼續的改變著我們的生活，而“互連網+’的提出，使得通過資料化來改變業務，驅動業務發展已經成為一種趨勢，安全行業同樣如此。在一個大型網路中，一般情況下安全營運和管理員是網路安全相關工作的主要責任人。而安全工作除了基礎的存取控制、入侵檢測和身份識別等手段，隨著技術的進步和發展也逐步開始包含更多內容。及時感知網路中的例外狀況事件、瞭解整體安全態勢正是其中之一。對於安全營運人員來說，從成千上萬的安全事件和日誌中，抽絲剝繭找到最有價值、最迫切需要處理和解決的安全問題，從而保

標籤：夢工廠   scala   開發    一、scala是函數式編程和物件導向編程結合的語言，這兩種編程的特點分別是什嗎？答：函數式編程擅長數值的計算；物件導向編程特別適合於大型工程或項目的組織，以及團隊的分工協作。 二、Scala的特點Scala結構優雅、計算精緻、富有表現力 三、scala的安裝需要什麼資源？Java，推薦安裝Java8(Java7也可以)支援scala

標籤：前言今天上班看了很多關於前端js，jQuery、bootstrap.js以及springMVC看得迷迷糊糊的，畢竟以前很少去學習前端的技術，所有看得有點困，還好看得比較多，回家後也開始學習關於Scala相關的課程，實驗一下每天堅持做大資料相關的事情，一年後會成為什麼樣子......期待中....，今天也接著昨天的課程繼續。Scala內部類實戰詳解Scala內部類詳解：scala中內部類要訪問外部類直接把外部類的對象給內部類了，讓其自己訪問，內部類也需要執行個體化，這和java中有很多的區別

標籤：大資料運營   企業架構   全生命週期管理   預計8月份第一周拿到樣書，拿到樣書後的2-3天，大家就可以拿到新書了，為了表示感謝，提前分享一下《大資料運營》圖書的總體方法論。雖然本眾籌項目已經成功，還是歡迎更多的朋友給予關注與支援：http://m.zhongchou.com/deal/id-153823 650) this.width=650;"

標籤：DT大資料夢工廠第68講http://yun.baidu.com/s/1jGKSKAi本節王老師講了Actor的進階應用程式。首先，主線程可以發訊息給子線程，而子線程接收並處理完訊息以後，可以返回給主線程一個訊息。這就像郵箱的回複。這裡可以在receive偏函數中，寫一個關鍵字 sender

標籤：http://download.csdn.net/detail/javaniceyou/8914285本節王老師講了匿名的actor，匿名的actor不像正常的actor要extends

標籤：大資料網路設計要點　　對大資料，Gartner的定義是：需要新處理模式才能具有更強的決策力、洞察發現力和流程最佳化能力的海量、高增長率和多樣化的資訊資產。維基百科的定義是：無法在可承受的時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合。　　大資料的4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。　　大資料的研究非常熱門，也產生了很多理論和實踐，本章不是探索大資料實現的技術原理，而是從一個典型的大資料模型Hadoop為例，重點放在其

標籤：王家林親傳《DT大資料夢工廠》第二講Scala函數定義、流程式控制制、異常處理入門你想瞭解大資料，你想成為年薪百萬嗎？那你還等著什麼，快點來吧！跟著王家林老師學習spark大資料第二講主要講了Scala函數定義、流程式控制制、異常處理入門函數定義：關鍵字（def） 函數名稱 參數（參數名稱：參數類型）：返回內容類型  = 

標籤：雲端運算應用——虛擬桌面Virtual Desktop Infrastructure是一種基於伺服器的計算模型，VDI概念最早由VMware提出，目前已經成為標準的技術術語。使用虛擬桌面可以在資料中心對資源進行統一管理，同時保證使用者獲得完整PC的使用體驗。目前延遲是影響其發展的最大問題。 圖 虛擬桌面雲端運算和大資料時代網路技術揭秘（十四）虛擬桌面

標籤：finereport   java報表   大資料集   本文以填報報表為例，通過分頁的方式，來解決大資料集展示的問題。實現的思想就是通過在SQL裡篩選部分資料庫資料，以達到瀏覽器可以合理的展示報表頁面。（資料分段，語句我這採用的是MYSQL，如果要用其他資料庫，請查看FineReport協助文檔）步驟一：開啟fenye.cpt檔案。模板介面如下 650) this.width=650;"