其他

flex 4 網路攝影機拍照： <?xml version="1.0" encoding="utf-8"?><s:Application xmlns:fx="http://ns.adobe.com/mxml/2009" xmlns:s="library://ns.adobe.com/flex/spark"

純粹的Flex項目，打包成WAR後，部署到weblogic中報錯。 錯誤資訊：[J2EE:160043]Missing deployment descriptor "WEB-INF/web.xml" at "D:\bea\mydomain\myserver\stage\TEST.war" 原因：WAR包裡面缺少web.xml檔案，無法識別為web項目。

上周我們的production環境正式上線了hive 0.11/spark 0.8/shark 0.8，在前期的測試和迴歸過程中碰到了很多坑，這邊記錄一下，有其他公司要上的話，可以少走些彎路。 1. Hive 0.11對於每一個分區維護了各自的Schema資訊，而0.9中的分區是複用Table Schema來做欄位的Serde，如果一張表新增欄位，再建立分區，建立的分區會繼承Table Schema，而之前的分區如果不drop重建，則會保持新增列之前老的Table

Yarn的設計思想 A． Yarn（Yet Another Resource Negotiator）B． Yarn的基本思想： 將JobTracker啷個主要功能分離成單獨的組件，一個全域的ResourceManager和每個應用對應的ApplicationMaster hadoop1.X和hadoop2.X架構對比圖： hadoop2.X架構圖： Yarn的組件： A． ResourceManager a) 一個純粹的調度器b)

我們的Hive中開啟了authentication(hive.security.authorization.enabled為true)，為了防止使用者在hive session中reset這個配置為false，繞過authorization策略，我們在setProcessor中會積極式載入hiveConfSetBlackList，如果使用者set blacklist中的hiveconf會拋異常，今天發現Hive0.11中已經增加了一個配置選項“hive.conf.restricted.list”

Hive配置中有個參數hive.mapred.mode，分為nonstrict，strict，預設是nonstrict 如果設定為strict，會對三種情況的語句在compile環節做過濾： 1. 笛卡爾積Join。這種情況由於沒有指定reduce join key，所以只會啟用一個reducer，資料量大時會造成效能瓶頸 // Use only 1 reducer in case of cartesian product if

背景       我們使用Hive Server 1已經很長時間了，使用者ad-hoc query，hive-web, wormhole，運營工具等都是通過hive server來提交語句。但是hive server極其不穩定，經常會莫名奇妙假死，導致client端所有的connection都被block住了。對此我們不得不配置一個crontab檢查指令碼，會不斷執行"show

前一陣子發現使用者提交的hive query和hadoop job會導致叢集的load非常高，經查看配置，發現很多使用者擅自將mapred.child.java.opts設定的非常大，比如-Xmx4096m(我們預設設定是-Xmx1024m),  導致了tasktracker上記憶體資源耗盡，進而開始不斷swap磁碟上資料，load飆升 TaskTracker在spawn一個map/reduce task

    Spark是UC Berkeley AMPLab開發的類MapRed計算架構。MapRed架構適用於batch job，但是由於它自身的架構限制，第一，pull-based heartbeat作業調度。第二，shuffle中間結果全部落地disk，導致了高延遲，啟動開銷很大。而Spark是為迭代式，互動式計算所生的。第一，它採用了actor model 的akka 作為通訊架構。第二， 它 使

fastdfs是一個輕量級的Distributed File System，主要由 tracker server， storage server 以及client組成，這裡主要涉及兩點 ： 1）用戶端上傳檔案流程和協議分析 2）實現一個簡單的檔案上傳函數 一: 檔案上傳的基本流程 fastdfs中上傳一個檔案，主要涉及以下幾個步驟: 1）上傳串連請求，用戶端會向tracker server發出上傳檔案的請求 2）tracker收到請求後，返回storage

 (1)Hadoop系統服務輸出的日誌 諸如NameNode、DataNode、ResourceManage等系統內建的服務輸出來的日誌預設是存放在${HADOOP_HOME}/logs目錄下。 resourcemanager的日誌存放路徑可以配置在（在${HADOOP_HOME}/etc/hadoop/yarn-env.sh）中的YARN_LOG_DIR值 預設值：$HADOOP_YARN_HOME/logs （2）

Log4j最簡入門 by zhlmmc Log4j實在是很熟悉，幾乎所有的Java項目都用它啊。但是我確一直沒有搞明白。終於有一天我受不了了，定下心去看了一把文檔，才兩個小時，我終於搞明白了。一般情況下Log4j總是和Apache Commons-logging一起用的，我也就一起介紹吧。多了個東西不是更麻煩，而是更簡單。 <!--[if !supportLists]-->一、<!--[endif]-->Log4j的簡單思想

http://blog.csdn.net/hgd250/article/details/3614976 下面是在log4j官方的API中寫的，足以能解釋logger與category的區別。。。 public class Categoryextends java.lang.Objectimplements AppenderAttachable This class has been deprecated

#基本日誌 log4j.rootLogger=info,stdout,logFile #控制台輸出 log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.Target=System.out log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

良好的編碼，良好的架構。 如何寫一個調試良好的日誌記錄，毫無疑問，log4j,slf4j,,logback都是必選之一了。 日誌記錄器（Logger）的行為是分等級的。如下表所示： 分為OFF、FATAL、ERROR、WARN、INFO、DEBUG、TRACE、ALL或者您定義的層級。Log4j建議只使用四個層級，優先順序從高到低分別是ERROR、WARN、INFO、DEBUG。

     這個文檔從比較高的層面上描述了如何編寫一個YARN應用 概念和流程      首先說的概念是“Application Submission Client”他負責將“Application”提交到YARN的Resource

MRv1缺點 1、JobTracker容易存在單點故障 2、JobTracker負擔重，既要負責資源管理，又要進行作業調度；當需處理太多任務時，會造成過多的資源消耗。 3、當mapreduce job非常多的時候，會造成很大的記憶體開銷，在 TaskTracker端，以mapreduce task的數目作為資源的表示過於簡單，沒有考慮到cpu以及記憶體的佔用情況，如果兩個大記憶體消耗的task被調度到了一塊，很容易出現OutOfMemory異常。

新 Hadoop Yarn 架構原理及運作機制 重構根本的思想是將 JobTracker 兩個主要的功能分離成單獨的組件，這兩個功能是資源管理和任務調度 / 監控。新的資源管理員全域管理所有應用程式計算資源的分配，每一個應用的 ApplicationMaster 負責相應的調度和協調。一個應用程式無非是一個單獨的傳統的 MapReduce 任務或者是一個 DAG(&

yarn中需要很多記憶體配置，本文只給一些推薦和建議，實際還根據具體商務邏輯來定 首先，需要明確，yarn中，整個叢集的資源需要記憶體、硬碟、CPU（CPU核心數）三者來決定，必須要實現三者的均衡，在實際生產環境中，硬碟都是足夠大的，所以很少考慮硬碟，這裡暫時也把硬碟作為一個要素作為參考項。 在計算節點可用記憶體的時候，需要考慮作業系統系統的記憶體需求、NM的記憶體需求以及該節點其他系統的記憶體需求（比如Hbase，下面均以Hbase為例)，

視頻地址：Apache Mesos vs. Hadoop YARN #WhiteboardWalkthrough 總結：