Big Data

標籤：前幾天上了水木社區，發現還是有大牛的，看了關於大資料和資料庫的討論，發現還是蠻有意思的，限於篇幅和版面，我做了部分的整理。 先看看這位人士的分析，對於行業的現狀還是很有瞭解，不是大學教授就是行業先鋒。#####################################大資料是一種方案，而不是一種模型。方案有方案的壓力， 只能使出各種絕招來“解決”問題。既然是方案，就包括了存貯，運算，輸入和輸出等等。 就運算模型上，因為要更好地採用廉價硬體，

標籤：mysql大資料   最佳化   （一） mysql limit大資料量分頁最佳化方法首先建立一個表 CREATE TABLE `ipdatas` ( `id` int(11) NOT NULL AUTO_INCREMENT, `uid` int(8) NOT NULL DEFAULT '0', `ipaddress` varchar(50) NOT NULL, `source`

標籤： 1 <?php 2 header("content-type:text/html;charset=utf-8"); 3 error_reporting(E_ALL); 4 set_time_limit(0); 5 $file=‘./test.sql‘; 6 $data=file($file); 7 8 echo "<pre>"; 9 //print_r($data);10 $data_new=array();11 $tmp=array();12 foreach ($

標籤：     在我的上一篇部落格《【java】itoo項目實戰之hibernate懶載入最佳化效能》中，我曾提到過學生資料有2萬條，查詢資料十分的慢，這是讓人很受不了的事情，看著頁面進度條一直轉著圈圈，那種著急的感覺真的沒法形容。最開始考慮著使用lazy來最佳化，因為前台架構的原因，lazy 最佳化並沒有起到什麼左右，後來就想著有select new map最佳化。我先來畫畫關於查詢學生的級聯樹這個樹的意思就是查詢學生的時候它的深度是4級。 

標籤：Python/Numpy大資料編程經驗1.邊處理邊儲存資料，不要處理完了一次性儲存。不然程式跑了幾小時甚至幾天后掛了，就啥也沒有了。即使部分結果不能實用，也可以剖析器流程的問題或者資料的特點。 2. 及時用 del 釋放大塊記憶體。Python預設是在變數範圍（variablescope）之外才釋放一個變數，哪怕這個變數在後面的代碼沒有再被用到，所以需要手動釋放大的array。 

標籤：DT大資料夢工廠 第5講 http://yun.baidu.com/s/1jGjFpWy 本節王老師講了數組。最主要的是使用了scala worksheet這個功能。這個功能可以列印出每一行代碼的運行情況。 package com.dt.scala.helloimport scala.collection.mutable.ArrayBufferobject ArrayOps {  def main(args: Array[String]): Unit = {

標籤：Scala中繼承實現：超類的構造、欄位重寫、方法重寫關於超類的構建：超類可以在子類沒有位置的限制，可以在子類中調用父類的方法類中欄位重寫：在重寫欄位前面加一個override就可以重新賦值類中方法重寫：與欄位重寫差不多，參數，方法名也要相同 class Person1(val name : String, var age : Int){ println("The primary constructor of Person") val school = "BJU" def

標籤：轉載自http://www.ibm.com/developerworks/cn/opensource/os-twitterstorm/串流大資料簡介Storm 是一個開源的、大資料處理系統，與其他系統不同，它旨在用於分布式即時處理且與語言無關。瞭解 Twitter Storm、它的架構，以及批處理和串流解決方案的發展形勢。Hadoop（大資料分析領域無可爭辯的王者）專註於批處理。這種模型對許多情形（比如為網頁建立索引）已經足夠，但還存在其他一些使用模型，它們需要來自高度動態來源的即時資訊。

標籤：夢工廠   scala   開發    一、scala是函數式編程和物件導向編程結合的語言，這兩種編程的特點分別是什嗎？答：函數式編程擅長數值的計算；物件導向編程特別適合於大型工程或項目的組織，以及團隊的分工協作。 二、Scala的特點Scala結構優雅、計算精緻、富有表現力 三、scala的安裝需要什麼資源？Java，推薦安裝Java8(Java7也可以)支援scala

標籤：http://download.csdn.net/detail/javaniceyou/8914285本節王老師講了匿名的actor，匿名的actor不像正常的actor要extends

標籤：雲端運算應用——虛擬桌面Virtual Desktop Infrastructure是一種基於伺服器的計算模型，VDI概念最早由VMware提出，目前已經成為標準的技術術語。使用虛擬桌面可以在資料中心對資源進行統一管理，同時保證使用者獲得完整PC的使用體驗。目前延遲是影響其發展的最大問題。 圖 虛擬桌面雲端運算和大資料時代網路技術揭秘（十四）虛擬桌面

標籤： 馬鈴薯視頻：http://www.tudou.com/programs/view/99sazBunsHg/你想瞭解大資料，你想成為年薪百萬嗎？那你還等著什麼，快點來吧！跟著王家林老師學習spark大資料這一講，王老師主講了Scala環境的搭建1.安裝Java（建議安裝java8），安裝好後，設定環境變數（java_home、path、classpath這個環境變數）2.安裝Scala，：spark.apache.org(建議安裝2.10.x以上版本)，設定環境變數（scala_

標籤：今日【DT大資料夢工廠視頻】《第58講：Scala中Abstract Types實戰詳解》馬鈴薯網：http://www.tudou.com/programs/view/E5QGmPvfupc/

標籤：虛擬化的最後一公裡——虛擬化網卡　　虛擬化是雲端運算的基礎，在這條道路上，CPU、記憶體、儲存、網路都在虛擬化下變成了各類資源集區，其中網路虛擬化的第一步是網卡的虛擬化，並將多個虛擬網卡按照傳統網路接入的方式（邏輯上）上聯到接入層交換器中。　　另一方面，我們都知道虛擬網卡是軟體類比出來運行在記憶體中的一段程式，最終安全可靠的接入交換器還是需要實體（伺服器的網卡）來承載，因此支援虛擬化的網卡技術也被視為網路虛擬化的最後一公裡，完成了這一步，虛擬機器才能在大二層網路的環

標籤：接入層網路　　伺服器虛擬化技術使得傳統的接入層概念發生變化，即不再是物理網口層級的接入、管理，而是需要深入物理機內部，在虛擬機器層面對虛擬機器的接入層進行管理，包括交換器延伸，相應的網路管理、策略配置。雲端運算業務要求網路接入層必須下沉到虛擬機器層級，這中間跨越了物理機的網卡，虛擬化管理平台Hypervisor，虛機網卡三個邏輯層面。 　　本章主要內容                 

標籤：虛擬化資料中心的擴張從本節開始，對資料中心內部的網路架構如何應對雲端運算業務的浪潮進行關鍵技術講解。  主要內容                                                  

標籤：1. 股市就是個複雜系統，複雜系統是不可精細預估的。2. 資料的作用不是讓每個人都能賺錢吧，而是讓使用資料的人在博弈中更容易戰勝不使用資料的人。例如彭博社，它的資料工具年費數萬美元，但很多人都在購買使用3. 高頻交易更多不是大資料，而是優先於別人先一步得到資訊；好多自動交易系統，是基於事件和規則引發的，根據別人的掛單，利用自己的網速優勢和介面，高頻率的高拋低吸操作，拼的是網速而不是靠預測，最開始玩期貨，莊家的訊息，都是通過信鴿從美國大洲之間傳遞，其實拼的也是速度，誰的鴿子好。4.

標籤：原文：http://zhuanlan.zhihu.com/donglaoshi/19962491 董飛    提到巨量資料分析平台，不得不說Hadoop系統，Hadoop到現在也超過10年的曆史了，很多東西發生了變化，版本也從0.x 進化到目前的2.6版本。我把2012年後定義成後Hadoop平台時代，這不是說不用Hadoop，而是像NoSQL （Not Only SQL）那樣，有其他的選型補充。我在知乎上也寫過Hadoop的一些入門文章

標籤：新的想法誕生新的技術，從而造出許多新詞，雲端運算、大資料、BYOD、社交媒體……在互連網時代，各種新詞層出不窮，讓人應接不暇。這些新的技術，這些新興應用和對應的IT發展趨勢，使得IT人必須瞭解甚至掌握最新的IT技能。新的想法誕生新的技術，從而造出許多新詞，雲端運算、大資料、BYOD、社交媒體、3D印表機、物聯網……在互連網時代，各種新詞層出不窮，讓人應接不暇。這些新的技術，這些新興應用和對應的IT發展趨勢，使得IT人必須瞭解甚至掌握最

標籤：春節：誰穿了什麼，誰唱了什麼，什麼火？高考：作文題目是什麼，哪裡又作弊了。中秋、端午：中國節日和外國節日，高速是否免費，食品安全。人生的輪迴也許就是這樣。大資料能分析的出來這些嗎？商機在哪裡，做IT的你，能看得出來嗎？能有對應的產品嗎？ 請根據以上描述，寫出五個項目的開題報告及專案提案書。[隨筆]一年熱點記錄，大資料