Big Data

標籤：半個月前看到部落格園有人說.NET不行那篇文章，我只想說你們有時間去抱怨不如多寫些實在的東西。  1、SQLSERVER優點和缺點？     優點：支援索引、事務、安全性以及容錯性高     缺點：資料量達到100萬以上就需要開始最佳化了，一般我們會對

標籤：一、概述分表是個目前算是比較炒的比較流行的概念，特別是在大負載的情況下，分表是一個良好分散資料庫壓力的好方法。首先要瞭解為什麼要分表，分表的好處是什麼。我們先來大概瞭解以下一個資料庫執行SQL的過程：接收到SQL --> 放入SQL執行隊列 --> 流量分析器分解SQL --> 按照分析結果進行資料的提取或者修改 -->

標籤：[導讀]             隨著公司業務的快速發展資料量也迅速的增大，基於使用者各個維度深度分析，關係型資料壓力越來越大；因此急於尋找一些解決方案；調研了很久最後採用了

標籤：大資料是用scala語言，和java有些不同又比java強大，省去了很多繁瑣的東西，scala中的的介面用trait來定義，不同於java的介面，trait中可以有抽象方法也可以有不抽象方法。scala中的方法中還可以定義方法，這在java中是從來沒有的。大資料未來幾年發展的重點方向，大資料戰略已經在十八屆五中全會上作為重點戰略方向，中國在大資料方面才剛剛起步，但是在美國已經產生了上千億的市場價值。舉個例子，美國通用公司是一個生產飛機發動機的一個公司，這家公司在飛機發動機的每一個零組件上都

標籤：大資料未來幾年發展的重點方向，大資料戰略已經在十八屆五中全會上作為重點戰略方向，中國在大資料方面才剛剛起步，但是在美國已經產生了上千億的市 場價值。舉個例子，美國通用公司是一個生產飛機發動機的一個公司，這家公司在飛機發動機的每一個零組件上都安裝了感應器，這些感應器在飛機發動機運作的同 時不斷的把發動機狀態的資料傳到通用公司的雲平台上，通用公司又有很多資料分析中心專門接受這些資料，根據大資料的分析可以隨時掌握每一家航空公司發動機

標籤： 談到大資料，相信大家對Hadoop和Apache Spark這兩個名字並不陌生。但我們往往對它們的理解只是提留在字面上，並沒有對它們進行深入的思考，下面不妨跟我一塊看下它們究竟有什麼異同。解決問題的層面不一樣首先，Hadoop和Apache Spark兩者都是大資料架構，但是各自存在的目的不盡相同。Hadoop實質上更多是一個分布式資料基礎設施:

標籤：註：本文為帆軟軟體總經理陳炎在2015中國資料分析師行業峰會上的演講記錄。 今天，我要跟大家分享的是“管理資料化”。聯想的柳傳志先生說過，管理三要素：建班子，定戰略，帶隊伍。中國典型的建班子思維，都是通過望聞問切來選人和用人，這個弊端大家都知道，但是以大資料興起的基於互連網的技術，能解決建班子的資料化。  帶隊伍對於企業來說，其實就是對中低層員工工作過程進行量化。對於員工來說，工作量化了之後，他隨時能知道自己的進展，自我改進。對於管理者來說，我隨時能監控，隨時

標籤：資料視覺效果   資料管理   資料分析   俗話說的好：工欲善其事，必先利其器！一款好的工具可以讓你事半功倍，尤其是在大資料時代，更需要強有力的工具通過使資料有意義的方式實現資料視覺效果，還有資料的可互動性；我們還需要跨學科的團隊，而不是單個資料科學家、設計師或資料分析員；我們更需要重新思考我們所知道的資料視覺效果，圖表和圖形還只能在一個或兩個維度上傳遞資訊，

標籤：開源軟體   美女   神秘世界   文章   產品   elk   ELK  “Elasticsearch、Logstash、Kibana” 今天只是瞭解 。搭建服務的文章後期待續。    日誌的收集和分析一直都是困擾你我的麻煩事情

標籤：快速傳輸大資料（tar+lz4+pv）時間：2014-12-12 18:29:55 閱讀：194 評論：0 收藏：0 [點我收藏+]標籤：演算法 class style src 使用 com log 檔案 資料 如果用傳統SCP遠程拷貝，速度是比較慢的。現在採用lz4壓縮傳輸。LZ4是一個非常快的無損壓縮演算法，壓縮速度在單核300MB/S，可擴充支援多核CPU。它還具有一個非常快速的解碼器，速度單核可達到和超越1

標籤：正如前面“Mesos:動機”一節中所述，Mesos的主要目標就是去協助管理不同架構（或者應用棧）間的叢集資源。比如說，有一個業務需要在同一個物理叢集上同時運行Hadoop，Storm及Spark。這種情況下，現有的調度器是無法完成跨架構間的如此細粒度的資源共用的。Hadoop的YARN調度器是一個中央調度器，它可以允許多個架構運行在一個叢集裡。但是，要使用架構特定的演算法或者調度策略的話就變得很難了，因為多個架構間只有一種調度演算法。比如說，MPI使用的是組調度演算法，而Spark用的是延

標籤：spark runtime（driver、masster、worker、executor）內幕解密內容：1、再論Spark叢集部署；2、Job提交解密；3、Job的產生和接受；4、Task的運行；5、再論Shuffle；從一個作業視角，透過Master、Drvier、Executor來透視Spark Runtime==========再論Spark叢集部署============官網中關於叢集的部署：650) this.width=650;"

標籤：master ha徹底解密內容:1、Master HA解析；2、Master HA的四種方式；3、Master HA的內部工作機制；4、Master HA的源碼解密；本講主要源碼角度分析Master HA，因為在生產環境必然要做的==========Master HA解析============Spark是Master-Slave的結構650) this.width=650;" src="/e/u261/themes/default/images/spacer.gif"

標籤：spark executor內幕徹底解密內容：1、Spark

標籤：   大資料是指為決策問題提供服務的大資料集、大資料技術和大資料應用的總稱。   其中大資料集是指一個決策問題所用到的所有可能的資料，通常資料量大、來源多、類型多樣、有價值(4V特性)   大資料技術是指大資料資源擷取、儲存管理、挖掘分析、可視展現(可視化、報表、監控)等技術   大資料應用是指用大資料集和大資料技術來支援決策活動，是新的決策方法。 大資料究竟是什麼

標籤：大資料       在資料庫時代，電腦在分布體系中的角色有明確劃分，不是客戶機就是伺服器，通常是一台伺服器連著多台客戶機，伺服器承擔儲存和計算的工作，客戶機負責顯示伺服器的處理結果。高效能的電腦，比如小型機會被做為伺服器，低端的電腦，如個人電腦成為客戶機。這就是以前經常說的Client/Server(客戶機/伺服器）結構。      

標籤：大資料   hadoop   上午課程：6：00amHadoop MapReduce內幕解密：MR架構解密MR運行叢集研究JAVA操作MR實戰【隨課筆記】：一：基於Yarn的MapReduce架構1.MapReduce代碼程式是基於實現Mapper和Reducer兩大階段構成的，其中Mapper是把一個計算任務分解成很多小任務進行並行計算，Reduce進行最後的統計的工作的；2.Hadoop 2.x開始是基於Yarn啟動並執行（1

標籤：ha   spark   工作原理   Spark高可用HA實戰Spark叢集工作原理詳解資源主要指記憶體、CPU650) this.width=650;" src="/e/u261/themes/default/images/spacer.gif" style="background:url("/e/u261/lang/zh-cn/images/localimage.png")

標籤：spark運行原理和rdd解析Spark一般基於記憶體，一些情況下也會基於磁碟Spark優先會把資料放到記憶體中，如果記憶體實在放不下，也會放到磁碟裡面的不單能計算記憶體放的下的資料，也能計算記憶體放不下的資料實際如果資料大於記憶體，則要考慮資料放置策略和最佳化演算法，因為Spark初衷是一寨式處理小到5~10台的分布式大到8000台的規模，Spark都能運行大資料計算問題：互動式查詢（基於shell、sparkSQL）、批處理、機器學習和計算等等底層基於RDD，分布式彈性資料級，支援各種

標籤：ZooKeeper:ZooKeeper淺析：http://www.cnblogs.com/sharpxiajun/archive/2013/06/02/3113923.html HDFS:MapReduce程式的工作過程： http://www.aboutyun.com/thread-15494-1-2.htmlHDFS小檔案處理解決方案總結：http://www.aboutyun.com/thread-14227-1-1.htmlHadoop