其他

前一陣子發現使用者提交的hive query和hadoop job會導致叢集的load非常高，經查看配置，發現很多使用者擅自將mapred.child.java.opts設定的非常大，比如-Xmx4096m(我們預設設定是-Xmx1024m),  導致了tasktracker上記憶體資源耗盡，進而開始不斷swap磁碟上資料，load飆升 TaskTracker在spawn一個map/reduce task

    Spark是UC Berkeley AMPLab開發的類MapRed計算架構。MapRed架構適用於batch job，但是由於它自身的架構限制，第一，pull-based heartbeat作業調度。第二，shuffle中間結果全部落地disk，導致了高延遲，啟動開銷很大。而Spark是為迭代式，互動式計算所生的。第一，它採用了actor model 的akka 作為通訊架構。第二， 它 使

fastdfs是一個輕量級的Distributed File System，主要由 tracker server， storage server 以及client組成，這裡主要涉及兩點 ： 1）用戶端上傳檔案流程和協議分析 2）實現一個簡單的檔案上傳函數 一: 檔案上傳的基本流程 fastdfs中上傳一個檔案，主要涉及以下幾個步驟: 1）上傳串連請求，用戶端會向tracker server發出上傳檔案的請求 2）tracker收到請求後，返回storage

 (1)Hadoop系統服務輸出的日誌 諸如NameNode、DataNode、ResourceManage等系統內建的服務輸出來的日誌預設是存放在${HADOOP_HOME}/logs目錄下。 resourcemanager的日誌存放路徑可以配置在（在${HADOOP_HOME}/etc/hadoop/yarn-env.sh）中的YARN_LOG_DIR值 預設值：$HADOOP_YARN_HOME/logs （2）

Log4j最簡入門 by zhlmmc Log4j實在是很熟悉，幾乎所有的Java項目都用它啊。但是我確一直沒有搞明白。終於有一天我受不了了，定下心去看了一把文檔，才兩個小時，我終於搞明白了。一般情況下Log4j總是和Apache Commons-logging一起用的，我也就一起介紹吧。多了個東西不是更麻煩，而是更簡單。 <!--[if !supportLists]-->一、<!--[endif]-->Log4j的簡單思想

http://blog.csdn.net/hgd250/article/details/3614976 下面是在log4j官方的API中寫的，足以能解釋logger與category的區別。。。 public class Categoryextends java.lang.Objectimplements AppenderAttachable This class has been deprecated

#基本日誌 log4j.rootLogger=info,stdout,logFile #控制台輸出 log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.Target=System.out log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

良好的編碼，良好的架構。 如何寫一個調試良好的日誌記錄，毫無疑問，log4j,slf4j,,logback都是必選之一了。 日誌記錄器（Logger）的行為是分等級的。如下表所示： 分為OFF、FATAL、ERROR、WARN、INFO、DEBUG、TRACE、ALL或者您定義的層級。Log4j建議只使用四個層級，優先順序從高到低分別是ERROR、WARN、INFO、DEBUG。

     這個文檔從比較高的層面上描述了如何編寫一個YARN應用 概念和流程      首先說的概念是“Application Submission Client”他負責將“Application”提交到YARN的Resource

MRv1缺點 1、JobTracker容易存在單點故障 2、JobTracker負擔重，既要負責資源管理，又要進行作業調度；當需處理太多任務時，會造成過多的資源消耗。 3、當mapreduce job非常多的時候，會造成很大的記憶體開銷，在 TaskTracker端，以mapreduce task的數目作為資源的表示過於簡單，沒有考慮到cpu以及記憶體的佔用情況，如果兩個大記憶體消耗的task被調度到了一塊，很容易出現OutOfMemory異常。

新 Hadoop Yarn 架構原理及運作機制 重構根本的思想是將 JobTracker 兩個主要的功能分離成單獨的組件，這兩個功能是資源管理和任務調度 / 監控。新的資源管理員全域管理所有應用程式計算資源的分配，每一個應用的 ApplicationMaster 負責相應的調度和協調。一個應用程式無非是一個單獨的傳統的 MapReduce 任務或者是一個 DAG(&

yarn中需要很多記憶體配置，本文只給一些推薦和建議，實際還根據具體商務邏輯來定 首先，需要明確，yarn中，整個叢集的資源需要記憶體、硬碟、CPU（CPU核心數）三者來決定，必須要實現三者的均衡，在實際生產環境中，硬碟都是足夠大的，所以很少考慮硬碟，這裡暫時也把硬碟作為一個要素作為參考項。 在計算節點可用記憶體的時候，需要考慮作業系統系統的記憶體需求、NM的記憶體需求以及該節點其他系統的記憶體需求（比如Hbase，下面均以Hbase為例)，

視頻地址：Apache Mesos vs. Hadoop YARN #WhiteboardWalkthrough 總結：

版本資訊： hadoop 2.3.0  hive 0.11.0 1. Application Master 無法訪問     點擊application mater 連結，出現 http 500 錯誤，java.lang.Connect.exception：     問題是由於設定web ui時，50030

歡迎大家討論，我也是接觸時間不長，有問題歡迎大家指正。歡迎轉載，轉載請註明出處 Haddoop 1.0的不足與Hadoop2.0的產生        

 log4j 的配置 將log4j 記錄檔的具體配置單獨介紹， 是因為它的配置方式將直接決定日誌的產生方式，存放位置，輸出格式等。 在/ src 下建立log4j.properties。內容如下：     ＃ 這裡定義日誌配置根logger，其中後面的INFO，console，file 表示日誌記錄的優先順序，依次為提示，警告，檔案 log4j.rootLogger＝INFO，console，file   

       最近想起要正常化軟體開發流程，所以必須尋一款專案管理神器。Google，百度狂搜尋了挺多的，最後鎖定了禪道。禪道是第一款國產的優秀開源的專案管理軟體，開源，就這倆字我就果斷、毫不猶豫的選它了。因為寫PHP的時候還在讀大學，之後就沒碰了，所以在部署的時候還遇到了不少小問題，從頭開始，在此記錄著。下面是我的部署流程（部分步驟有COPY再最佳化的）： 一、部署Apache 伺服器

Protobuf3 + Netty4: 在socket上傳輸多種類型的protobuf資料 Protobuf序列化的位元組流資料是不能自描述的，當我們通過socket把資料發送到Client時，Client必須知道發送的是什麼類型的資料，才能正確的還原序列化它。這嚴重影響限制了C/S功能的實現，不解決的話通道事實上只能傳輸一種類型的資料。本文講解一下我用的解決辦法，雖然我覺得應該有官方的實現更合理，即原生支援Protobuf的自描述。

使用Log4J的Logger.getLogger()方法時會得到一個Logger的執行個體。如果一個應用中包含了上千個類，那麼也幾乎需要上千個Logger執行個體。如何對這上千個Logger執行個體進行方便地配置，就是一個很重要的問題。Log4J採用了一種樹狀的繼承層次巧妙地解決了這個問題。在Log4J中Logger是具有層次關係的。它有一個共同的根，位於最上層，其它Logger遵循類似包的層次，比如：static Logger root =

1.2 需要安裝的工具 1.2.1     安裝JDK 輸入命令 [root@bigData-02 ~]# Java –version java version "1.7.0_51" Java(TM) SE Runtime Environment (build 1.7.0_51-b13) Java HotSpot(TM) 64-Bit Server VM