其他

hadoop 升級到cdh5後，隊列管理被取消，而是統一用資源集區分配。  hadoop2.0版本，Hadoop採用了平級隊列組織方式，，管理員可將使用者分到若干個扁平隊列中，在每個隊列中，可指定一個或幾個隊列管理員管理這些使用者，比如殺死任意使用者的作業，修改任意使用者作業的優先順序。 但這還不夠，需要將資源劃分到這幾個隊列中，並按照一定的策略完成資源分派，這就需要Hadoop作業調度器的支援。

As previously described, YARN is essentially a system for managing distributed applications. It consists of a central ResourceManager, which arbitrates all available cluster resources, and a per-nodeNodeManager, which takes

最近又發現Sybase Central用戶端(java用戶端)從IQ16.0裡頭去掉了. 新用戶端或許只能用SCC?! 對於老使用者來說,無疑是比較痛苦的事. 看來,只能從IQ15.4或者15.3裡頭摘一個用戶端出來用了. 既然如此，我索引用SDK庫手寫了一個命令列用戶端， 這是一個非常小而精緻的ＩＱ命令列用戶端，有意思的是它也能用在ASA12及以上版本的ＡＳＡ資料庫當中．這就是魅力所在．用法，將其放到IQ或者ASA的Bin32子目錄下邊，進到此目錄：sasql

部署邏輯架構： HDFS HA部署物理架構 注意： JournalNode使用資源很少，即使在實際的 生產環境中，也是把JournalNode和 DataNode部署在同一台機器上； 生產環境中，建議主備NameNode各單獨一台機器。 YARN部署架構：

招賢納士： 我們叫數瀾 我們核心技術團隊來自阿里、華為、金蝶、移動、GE等 我們獲得來自阿里巴巴集團聯合創始人、湖畔山南總裁謝世煌、IDG合伙人牛奎光、洪泰等投資 我們的官網：https://www.dtwave.com 我們提供：期權、五險一金、試用期全薪、商業保險、免費體檢、入職即享年休、每周團建、生日party、生日禮物、節日禮品、技術分享、技術專題小組等。 我們的地盤在杭州餘杭區倉前夢想小鎮和北京望京soho 我們是一個技術氛圍濃厚，高執行力，充滿激情的團隊，

最近工作需要，摸索著搭建了Hadoop 2.2.0(YARN)叢集，中間遇到了一些問題，在此記錄，希望對需要的同學有所協助。         本篇文章不涉及hadoop2.2的編譯，編譯相關的問題在另外一篇文章《hadoop 2.2.0 源碼編譯筆記》中說明，本篇文章我們假定已經獲得了hadoop 2.2.0的64bit發行包。         由於spark的相容問題，我們後面使用了Hadoop 2.0

版本資訊： hadoop 2.3.0  hive 0.11.0 1. Application Master 無法訪問     點擊application mater 連結，出現 http 500 錯誤，java.lang.Connect.exception：     問題是由於設定web ui時，50030

歡迎大家討論，我也是接觸時間不長，有問題歡迎大家指正。歡迎轉載，轉載請註明出處 Haddoop 1.0的不足與Hadoop2.0的產生        

 log4j 的配置 將log4j 記錄檔的具體配置單獨介紹， 是因為它的配置方式將直接決定日誌的產生方式，存放位置，輸出格式等。 在/ src 下建立log4j.properties。內容如下：     ＃ 這裡定義日誌配置根logger，其中後面的INFO，console，file 表示日誌記錄的優先順序，依次為提示，警告，檔案 log4j.rootLogger＝INFO，console，file   

       最近想起要正常化軟體開發流程，所以必須尋一款專案管理神器。Google，百度狂搜尋了挺多的，最後鎖定了禪道。禪道是第一款國產的優秀開源的專案管理軟體，開源，就這倆字我就果斷、毫不猶豫的選它了。因為寫PHP的時候還在讀大學，之後就沒碰了，所以在部署的時候還遇到了不少小問題，從頭開始，在此記錄著。下面是我的部署流程（部分步驟有COPY再最佳化的）： 一、部署Apache 伺服器

Protobuf3 + Netty4: 在socket上傳輸多種類型的protobuf資料 Protobuf序列化的位元組流資料是不能自描述的，當我們通過socket把資料發送到Client時，Client必須知道發送的是什麼類型的資料，才能正確的還原序列化它。這嚴重影響限制了C/S功能的實現，不解決的話通道事實上只能傳輸一種類型的資料。本文講解一下我用的解決辦法，雖然我覺得應該有官方的實現更合理，即原生支援Protobuf的自描述。

使用Log4J的Logger.getLogger()方法時會得到一個Logger的執行個體。如果一個應用中包含了上千個類，那麼也幾乎需要上千個Logger執行個體。如何對這上千個Logger執行個體進行方便地配置，就是一個很重要的問題。Log4J採用了一種樹狀的繼承層次巧妙地解決了這個問題。在Log4J中Logger是具有層次關係的。它有一個共同的根，位於最上層，其它Logger遵循類似包的層次，比如：static Logger root =

1.2 需要安裝的工具 1.2.1     安裝JDK 輸入命令 [root@bigData-02 ~]# Java –version java version "1.7.0_51" Java(TM) SE Runtime Environment (build 1.7.0_51-b13) Java HotSpot(TM) 64-Bit Server VM

Koala是一款簡單而實用的jQuery焦點圖投影片外掛程式，焦點圖不僅可以在播放圖片的時候讓圖片有淡入淡出的動畫效果，而且圖片可以自動播放。該jQuery焦點圖的每一張圖片都可以設定文字描述，並浮動在圖片之上。由於其簡單的配置，這款jQuery焦點圖可以很方便地與你的網站相結合。  使用方法 引入核心檔案 1 2

    YARN本質上是Hadoop的新作業系統，突破了MapReduce架構的效能瓶頸。通過YARN管理叢集的資源請求，Hadoop從一個單一應用程式系統升級成為一個多應用程式的作業系統。    

前序中序後序，按層次。 這裡遞迴的很好寫就不寫了，主要複習非遞迴的。 樹:         4         2     6         1  3   5  7                8

yarn上運行程式是由container來執行的，那麼當我們想要知道每台節點對應的container的使用方式時，需要從何入手呢。 開始我以為yarn的系統命令會有相應的提示，於是yarn --help，沒有我想要的資訊。那麼從另一方面入手吧：Linux系統。 1. 首先top觀察一下哪個線程比較像我們要找的那個線程，鎖定線程ID 2. cd /proc/ 3. ls   --裡面全都是正在啟動並執行線程的資訊 4.  cd 線程ID號（以檔案夾形式存在）

前言 幾個月前，上線了一個版本。但是上線了幾個小時之後 CPU 突然暴增至99%，在網上搜了一下，多半是因為出現死迴圈問題了。就用 jstack dump 了當時的線程快照，發現這次死迴圈問題的起源是 HashMap 的 get()方法。之後先是迅速重啟了服務，這樣可以讓服務先運行一段時間。然後立即修複了這個 bug並提交到 SVN。 這次事故的原因是因為開發時沒有注意到 HashMap 是非安全執行緒的，而使用 HashMap 的那個地方又是 PV

wx:for = "{{list}}" 用來迴圈數組 如果是一維數組，執行個體： <view wx:for="{{list}}">{{index}} {{item.name}}</view> 以上代碼中item即為list的別名。 如果是二維或多維陣列： <view wx:for="{{parentList}}">{{item.id}}<view wx:for=

  linpack百度百科:   http://baike.baidu.com/view/485828.htm   叢集理論浮點峰值=CPU主頻（GHz）×4（CPU每刻度執行浮點運算次數）×節點數×8（每節點雙路四核）    例如單節點機CPU為Xeon E5430，則其理論峰值=1.66×4×1×8=53.12 GFLOPS