Big Data

標籤：在實際工作中需要把SQL Server中的表匯入Oracle。之前嘗試過直接用SQL Server的DTS進行都沒問題。但這次因為資料量在千萬級所以報虛擬記憶體不足。最後通過SQL Server匯出txt檔案和Oracle sqlldr匯入的方案解決。一.SQL Server匯出txt檔案方法1.使用DTS進行匯出。方法2.使用BCP命令進行匯出，具體可以查看園內文章：SQL Server中bcp命令的用法以及資料大量匯入匯出通過以上方法可以產生txt檔案 二.Oracle

標籤：Python/Numpy大資料編程經驗1.邊處理邊儲存資料，不要處理完了一次性儲存。不然程式跑了幾小時甚至幾天后掛了，就啥也沒有了。即使部分結果不能實用，也可以剖析器流程的問題或者資料的特點。 2. 及時用 del 釋放大塊記憶體。Python預設是在變數範圍（variablescope）之外才釋放一個變數，哪怕這個變數在後面的代碼沒有再被用到，所以需要手動釋放大的array。 

標籤：http://my.oschina.net/songhongxu/blog/209951  一、記憶體溢出類型1、java.lang.OutOfMemoryError: PermGen spaceJVM管理兩種類型的記憶體，堆和非堆。堆是給開發人員用的上面說的就是，是在JVM啟動時建立；非堆是留給JVM自己用的，用來存放類的資訊的。它和堆不同，運行期內GC不會釋放空間。如果web

標籤：軟體定義程式網路——SDN　　SDN是網路技術熱點，即軟體定義程式網路，OpenFlow是實現SDN思想的一個架構標準，open是指公開、開放，具體為控制平面的規則由各個通訊廠家自訂變為公開的技術標準，flow是流，把所有資料流量按照流的定義進行分類，每個流由一個六元組精確描述，這一技術的目標是構建下一代網路通訊模型，屬於基礎架構模式上的變革。　　本質是開放思維模式，即把複雜的網路管理控制策略用軟體定義程式的方式，使之具備開放性、靈活性，也可改變當下營運成本越來越高

標籤：資料中心互聯——更廣泛的二層網路　　本章介紹跨資料中心的大二層網路互聯技術，包括需求和業務模型，重點介紹傳統VPLS方案和新興的OTV方案。  圖 VPLS的組網圖核心器件為PE，負責把CE接入VPLS網路同時終結VPLS隧道，進入MPLS+IP核心網 圖 OTV的組網圖通過OTV網關，在廣域網路上架設了跨資料中心的、具備控制平面的大二層網路 圖

標籤：1 概述HBase是一個分布式的、面向列的資料庫，它和一般關係型資料庫的最大區別是：HBase很適合於儲存非結構化的資料，還有就是它基於列的而不是基於行的模式。既然HBase是採用KeyValue的列儲存，那Rowkey就是KeyValue的Key了，表示唯一一行。Rowkey也是一段二進位碼流，最大長度為64KB，內容可以由使用的使用者自訂。資料載入時，一般也是根據Rowkey的二進位序由小到大進行的。HBase是根據Rowkey來進行檢索的，系統通過找到某個Rowkey (或者某個

標籤：大資料 scala spark今日【DT大資料夢工廠視頻】《第57講：Scala中Dependency Injection實戰詳解》馬鈴薯：http://www.tudou.com/programs/view/5LnLNDBKvi8/  百度網盤：http://pan.baidu.com/s/1c0no8yk（DT大資料夢工廠scala的所有視頻、PPT和代碼在百度雲端硬碟的連結地址：http://pan.baidu.com/share/home?uk=40132890

標籤：今日【DT大資料夢工廠視頻】《第58講：Scala中Abstract Types實戰詳解》馬鈴薯網：http://www.tudou.com/programs/view/E5QGmPvfupc/

標籤：今日【DT大資料夢工廠視頻】《第57講：Scala中Dependency Injection實戰詳解》馬鈴薯：http://www.tudou.com/programs/view/5LnLNDBKvi8/

標籤：二、Routing(路由) (using the Java client) 在前面的學習中，構建了一個簡單的日誌記錄系統，能夠廣播所有的日誌給多個接收者，在該部分學習中，將添加一個新的特點，就是可以只訂閱一個特定的訊息源，也就是說能夠直接把關鍵的錯誤記錄檔訊息發送到記錄檔儲存起來，不重要的日誌資訊檔不儲存在磁碟中，但是仍然能夠在控制台輸出，那麼這便是我們這部分要學習的訊息的路由分發機制。三、Bindings（綁定） 在前面的學習中已經建立了綁定(bindings)，代碼如下：

標籤：虛擬化的最後一公裡——虛擬化網卡　　虛擬化是雲端運算的基礎，在這條道路上，CPU、記憶體、儲存、網路都在虛擬化下變成了各類資源集區，其中網路虛擬化的第一步是網卡的虛擬化，並將多個虛擬網卡按照傳統網路接入的方式（邏輯上）上聯到接入層交換器中。　　另一方面，我們都知道虛擬網卡是軟體類比出來運行在記憶體中的一段程式，最終安全可靠的接入交換器還是需要實體（伺服器的網卡）來承載，因此支援虛擬化的網卡技術也被視為網路虛擬化的最後一公裡，完成了這一步，虛擬機器才能在大二層網路的環

標籤：一、MQ（Message Queue）即 訊息佇列，一般用於應用系統解耦、訊息非同步分發，能夠提高系統輸送量。MQ的產品有很多，有開源的，也有閉源，比如ZeroMQ、RabbitMQ、 ActiveMQ、Kafka/Jafka、Kestrel、Beanstalkd、HornetQ、Apache Qpid、Sparrow、Starling、Amazon SQS、MSMQ等，甚至Redis也可以用來構造訊息佇列。至於如何取捨，取決於你的需求。

標籤： 柯南君：看大資料時代下的IT架構（3）訊息佇列之RabbitMQ-安裝、配置與監控 一、安裝1、安裝Erlang 1）系統編譯環境（這裡採用linux/unix 環境）① 安裝環境虛擬機器：VMware® Workstation 10.0.1 buildLinux系統：CentOS6.5rabbitMQ官網下載：http://www.rabbitmq.com/download.htmlErlang的官網下載：

標籤：1. 股市就是個複雜系統，複雜系統是不可精細預估的。2. 資料的作用不是讓每個人都能賺錢吧，而是讓使用資料的人在博弈中更容易戰勝不使用資料的人。例如彭博社，它的資料工具年費數萬美元，但很多人都在購買使用3. 高頻交易更多不是大資料，而是優先於別人先一步得到資訊；好多自動交易系統，是基於事件和規則引發的，根據別人的掛單，利用自己的網速優勢和介面，高頻率的高拋低吸操作，拼的是網速而不是靠預測，最開始玩期貨，莊家的訊息，都是通過信鴿從美國大洲之間傳遞，其實拼的也是速度，誰的鴿子好。4.

標籤：資料 應用 效能管理雲智慧（北京）科技有限公司 陸興海 3、他和她的相遇（大資料與應用效能管理） 650) this.width=650;" src="http://img.blog.csdn.net/20150715114218408" alt="這裡寫圖片描述" title="" style="border:none;"

標籤：原文：http://zhuanlan.zhihu.com/donglaoshi/19962491 董飛    提到巨量資料分析平台，不得不說Hadoop系統，Hadoop到現在也超過10年的曆史了，很多東西發生了變化，版本也從0.x 進化到目前的2.6版本。我把2012年後定義成後Hadoop平台時代，這不是說不用Hadoop，而是像NoSQL （Not Only SQL）那樣，有其他的選型補充。我在知乎上也寫過Hadoop的一些入門文章

標籤： 今日【DT大資料夢工廠視頻】《第50講：Scala中Variance變化點及其在Spark中的應用源碼解析_controller》馬鈴薯：http://www.tudou.com/programs/view/85BX4YBSdSI/ 百度網盤：http://pan.baidu.com/s/1kTINV0b?qq-pf-to=pcqq.groupScala的類型變化點學習心得：Scala是當今最重要的大資料語言。通過本次學習，小星掌握了scala類型變化點的基本知識。1

標籤：zhuan :https://www.linkedin.com/pulse/100-open-source-big-data-architecture-papers-anil-madanBig Data technology has been extremely disruptive with open source playing a dominant role in shaping its evolution. While on one hand it has been

標籤：大資料   spark   王家林   scala   2015.7.9DT大資料夢工廠scala 深入淺出實戰經典

標籤：echarts   可視化   大資料   [Author]: kwu 快速基於echarts的大資料視覺效果，echarts純粹的js實現的圖表工具，快速開發的步驟如下：1、引入echarts的依賴js庫<script type="text/javascript"