Big Data

標籤：讀寫檔案背景及木：現有資料1000w單表，為壓力測試準備1億條資料。步驟：1.將1000w條記錄，除id外都匯入到多個檔案中：//DELIMITERDROP PROCEDURE if EXISTS createManyTable;create PROCEDURE createManyTable()BEGINDECLARE i int;DECLARE fileName VARCHAR(30);set i=1;while i<251DOSET

標籤：     在我的上一篇部落格《【java】itoo項目實戰之hibernate懶載入最佳化效能》中，我曾提到過學生資料有2萬條，查詢資料十分的慢，這是讓人很受不了的事情，看著頁面進度條一直轉著圈圈，那種著急的感覺真的沒法形容。最開始考慮著使用lazy來最佳化，因為前台架構的原因，lazy 最佳化並沒有起到什麼左右，後來就想著有select new map最佳化。我先來畫畫關於查詢學生的級聯樹這個樹的意思就是查詢學生的時候它的深度是4級。 

標籤：關於Scala中的Regex與模式比對結合的RegexRegRegex的實現：Regex的定義與其它語言差不多，只需在運算式後加一個.r,並且可以遍曆相應的運算式進行匹配 //定義的Regex val regex="""([0-9]+) ([a-z]+)""".r //由數字與字母組成的常量 val numPattern = "[0-9]+".r //由數字組成的常量 val numberPattern = """\s+[0-9]+\s+""".r //由s與數字+

標籤：作者是麻省理工的學者，研究的社會物理學，主要的關注點是想法流（idea flow）的傳播的規律。看完後基本的感覺是社會物理學的內容比較有新意，另外這是嚴肅的社會學研究而不是拍腦袋空想。但是全書的缺陷社會物理學作為一門科學，書中提出來的規律、定理太少了。社會物理學的實際應用，也相對偏少，還處在個案階段。以下是書中提到的社會物理學的幾個實際的應用。1：作者及其團隊分析一個金融交易員的線上社區eToro的使用者之間的互動後找出了提升交易員業績的辦法：有些人太獨立特行，有些人太過關注其他人的想法，

標籤：Scala多重繼承、構造器的執行順序、AOP實現多重繼承的trait實現：Scala中介面可以繼承具體的類，trait介面可以實現多重繼承，並且某個類也可以繼承特定的類，在繼承後面可以混入，介面的實現多重繼承構造器執行順序：多重繼承構造器執行順序是從左至右按次序執行，如果前面類以及被繼承實現了，後面的類就沒有必要去實現，父類只需執行一次object triatScala { def main(args: Array[String]): Unit = { val t1 = new

標籤：hadoop有關hdfs的連結http://hadoop.apache.org/docs/current/api/ (Apache Hadoop Main 2.7.1 API) http://slaytanic.blog.51cto.com/2057708/1101111/ (hdfs-site.xml 配置項說明) http://archive-primary.cloudera.com/cm5/installer/5.4.3/

標籤：?迅速發展的互連網技術仍在繼續的改變著我們的生活，而“互連網+’的提出，使得通過資料化來改變業務，驅動業務發展已經成為一種趨勢，安全行業同樣如此。在一個大型網路中，一般情況下安全營運和管理員是網路安全相關工作的主要責任人。而安全工作除了基礎的存取控制、入侵檢測和身份識別等手段，隨著技術的進步和發展也逐步開始包含更多內容。及時感知網路中的例外狀況事件、瞭解整體安全態勢正是其中之一。對於安全營運人員來說，從成千上萬的安全事件和日誌中，抽絲剝繭找到最有價值、最迫切需要處理和解決的安全問題，從而保

標籤：前言今天上班看了很多關於前端js，jQuery、bootstrap.js以及springMVC看得迷迷糊糊的，畢竟以前很少去學習前端的技術，所有看得有點困，還好看得比較多，回家後也開始學習關於Scala相關的課程，實驗一下每天堅持做大資料相關的事情，一年後會成為什麼樣子......期待中....，今天也接著昨天的課程繼續。Scala內部類實戰詳解Scala內部類詳解：scala中內部類要訪問外部類直接把外部類的對象給內部類了，讓其自己訪問，內部類也需要執行個體化，這和java中有很多的區別

標籤：大資料運營   企業架構   全生命週期管理   預計8月份第一周拿到樣書，拿到樣書後的2-3天，大家就可以拿到新書了，為了表示感謝，提前分享一下《大資料運營》圖書的總體方法論。雖然本眾籌項目已經成功，還是歡迎更多的朋友給予關注與支援：http://m.zhongchou.com/deal/id-153823 650) this.width=650;"

標籤：VOQ機制　　本章介紹的VOQ是一種新型的QoS機制，目的是為瞭解決著名的交換器HoL難題。但VOQ強烈依賴於調度演算法，例如，一個48口的交換器，每個連接埠都要維護48-1個FIFO緩衝隊列，一共48x47=2256個緩衝隊列，這一方面對交換器的硬體條件提出了較高要求，也對如何設計良好的轉寄包調度演算法提出了巨大的挑戰，目前僅有Cisco一家推出了商用產品，足見其複雜程度。學習一下VOQ方案的解決問題的思路，還是有助於我們更深入的瞭解交換器的內部運作機制。 圖

標籤：DT大資料夢工廠第68講http://yun.baidu.com/s/1jGKSKAi本節王老師講了Actor的進階應用程式。首先，主線程可以發訊息給子線程，而子線程接收並處理完訊息以後，可以返回給主線程一個訊息。這就像郵箱的回複。這裡可以在receive偏函數中，寫一個關鍵字 sender

標籤：http://download.csdn.net/detail/javaniceyou/8914285本節王老師講了匿名的actor，匿名的actor不像正常的actor要extends

標籤：王家林親傳《DT大資料夢工廠》第三講Tuple、Array、Map與檔案操作入門實戰你想瞭解大資料，你想成為年薪百萬嗎？那你還等著什麼，快點來吧！跟著王家林老師學習spark大資料第三講Tuple、Array、Map與檔案操作入門實戰Tuple object TupleOps  {   def  main (args: Arrag[string]): Unit = {      

標籤：王家林親傳《DT大資料夢工廠》第四講For與Function進階實戰、Lazy的使用你想瞭解大資料，你想成為年薪百萬嗎？那你還等著什麼，快點來吧！跟著王家林老師學習spark大資料第四講For與Function進階實戰、Lazy的使用For迴圈object For_Function_Advanced{def  main ( args: Array[String]): Unit ={      for(i 

標籤：王家林親傳《DT大資料夢工廠》第二講Scala函數定義、流程式控制制、異常處理入門你想瞭解大資料，你想成為年薪百萬嗎？那你還等著什麼，快點來吧！跟著王家林老師學習spark大資料第二講主要講了Scala函數定義、流程式控制制、異常處理入門函數定義：關鍵字（def） 函數名稱 參數（參數名稱：參數類型）：返回內容類型  = 

標籤：雲端運算應用——虛擬桌面Virtual Desktop Infrastructure是一種基於伺服器的計算模型，VDI概念最早由VMware提出，目前已經成為標準的技術術語。使用虛擬桌面可以在資料中心對資源進行統一管理，同時保證使用者獲得完整PC的使用體驗。目前延遲是影響其發展的最大問題。 圖 虛擬桌面雲端運算和大資料時代網路技術揭秘（十四）虛擬桌面

標籤：在生物領域中，常常處理gff,gtf,bam,sam等格式的檔案。在此我總結了幾點我處理這些檔案的經驗。1.善用split分割每行，這些檔案基本都是用tab分割的，所以有split分割非常方便，每行最後的注釋資訊一般都是;分割。2.找出你所需要的列，並找出這列所有不同的元素。因為你拿到的檔案可能之前就被處理過，具有很強的不確定性。比如你拿到了一個水稻的資料，你下意識的可能會認為染色體那列只有12種可能，但往往就是這種主觀錯誤導致你的程式運行不了，因此在處理之前一定要弄清楚每列的元素。3.將

標籤：finereport   java報表   大資料集   本文以填報報表為例，通過分頁的方式，來解決大資料集展示的問題。實現的思想就是通過在SQL裡篩選部分資料庫資料，以達到瀏覽器可以合理的展示報表頁面。（資料分段，語句我這採用的是MYSQL，如果要用其他資料庫，請查看FineReport協助文檔）步驟一：開啟fenye.cpt檔案。模板介面如下 650) this.width=650;"

標籤：大資料

標籤： 馬鈴薯視頻：http://www.tudou.com/programs/view/99sazBunsHg/你想瞭解大資料，你想成為年薪百萬嗎？那你還等著什麼，快點來吧！跟著王家林老師學習spark大資料這一講，王老師主講了Scala環境的搭建1.安裝Java（建議安裝java8），安裝好後，設定環境變數（java_home、path、classpath這個環境變數）2.安裝Scala，：spark.apache.org(建議安裝2.10.x以上版本)，設定環境變數（scala_