其他

今天嘗試在Hadoop 2.x開發叢集上配置Kerberos，遇到一些問題，記錄一下 設定hadoop security core-site.xml <property> <name>hadoop.security.authentication</name> <value>kerberos</value> </property>

在單機上安裝了storm並成功運行wordcount後，進入本周工作的下一步：熟悉storm on yarn. 熟悉的第一步還是安裝和部署。 已有的環境：三台伺服器，hadoop01/hadoop02/hadoop03，已經安裝好了hadoop 2.2.0版本，有yarn環境和hdfs環境。 需要的軟體與配置： 1） 安裝storm的依賴包zeromq與jzmq，詳細參見 http://blog.csdn.net/flyhighzy/article/details/3767

如果經常使用Struts，並做過國際化操作的人來說，對於中文資源檔的處理應該不會感到陌生的。比如下面兩個檔案，一個是英文的，一個是中文的。對於英文的，一切照常；對於中文的，一般需要用JDK的native2ascii工具進行轉換。 　　 　　application_en.properties 　　# Resources for the Hello sample application 　　hello.title=A first Struts program 　　hello.prompt.user=

目錄 說明 spring-beans-3.0.xsd 說明： Spring3.0 最主要的Schema，用來配置bean。 命名空間：

1.定義js/ueditor/myCustomize/myCustomizeLine.js UE.registerUI('customizeline',function(editor,uiName){     //建立dialog     var dialog = new UE.ui.Dialog({         //指定彈出層中頁面的路徑

作業提交到的隊列：mapreduce.job.queuename 作業優先順序：mapreduce.job.priority，優先順序預設有5個:LOW VERY_LOW NORMAL（預設） HIGH VERY_HIGH 1、靜態設定 1.1 Pig版本 SET mapreduce.job.queuename root.etl.distcp; SET mapreduce.job.priority HIGH;

這是leetcode中的合并兩個排序數組的題目，題目為：A和B兩個數組已經排序，A可以容納A和B的數組，我的思路為： 將A往後移，因為移動之後就不用再移動了，然後合并就不需要總是去賦值。 /** to this problem, we can move the whole A back, yes a good solution!*/class Solution {public: void merge(int A[], int m, int B[], int n) {

facebook presto是最近出來的一個互動分散式查詢引擎，支援簡單的SQL，據稱比mapreduce快10倍，訪問presto homepage可以深入瞭解presto presto最好是用一個專門儲存data的目錄，這個目錄存放log和local metadata，獨立開來的data目錄有利於更新 配置presto node properties：包含針對於每個節點的configuration，也就是說每個節點的configuration都是個人化的 jvm

1，添加elasticsearch-hadoop-hive-2.1.2.jar到Hive。Hive添加第三方包，查看：http://blog.csdn.net/qianshangding0708/article/details/50381966  2，在hive中建立Elasticsearch外表： @Testpublic void testESTable() { try {HiveHelper.excuteNonQuery("CREATE

6.1、註解式控制器簡介 一、Spring2.5之前，我們都是通過實現Controller介面或其實現來定義我們的處理器類。已經@Deprecated。   二、Spring2.5引入註解式處理器支援，通過@Controller 和 @RequestMapping註解定義我們的處理器類。並且提供了一組強大的註解：  

hadoop yarn已經解決了MRv1中的諸多問題，在此安裝一下hadoop yarn，然後方便學習spark，yarn 在hadoop第一版中的如/etc/hosts，ssh無密碼登入等問題在此不會詳細介紹，在此只是介紹一下yarn和hadoop version1的基本的配置不一樣的地方 基本的三個設定檔會有區別，在此列出我自己的三個檔案的配置情況，也是最基本的配置，然後給出yarn-site.xml的配置，最後解決一個遇到的問題。 1，core-site.xml檔案

今天散仙寫了個MapReduce作業，目的是讀資料庫裡面多個表的資料，然後在JAVA中根據具體的業務情況做過濾，並把符合資料的結果寫入到HDFS上，在Eclipse裡面提交作業進行調試的時候，發現在Reduce階段，總是拋出Java heap

步驟一、 springmvc.xml中配置定時任務標籤、添加命名空間： <!-- 配置定時器 --> <task:annotation-driven/>

承接上一篇文章（spring定時任務的基本操作 簡單樣本）： 二、spring定時任務 ： 多個任務和執行時間間隔配置 1、多個任務的使用： 第一步：寫好執行定時任務的類和方法（多個，參考上一篇文章） 第二步：配置設定檔：（參考上一篇文章） <bean name="quartzScheduler"

簡述： Quartz 提供job scheduling service, 可以java 程式中使用，在此試用一下。 參考（http://www.quartz-scheduler.org/documentation/quartz-2.2.x/quick-start） 步驟： 1. 下載 http://www.quartz-scheduler.org/downloads/catalog 2. 下載解壓後，將lib檔案夾下的內容，放到項目的class

    從華清遠見培訓回來已經一個星期了。兩個月的培訓讓我學到了很多，學習的量很大，東西也很雜。幸好，還有四個月的時間緩衝期（我是先去培訓2個月，回到學校學習四個月之後再去培訓剩下的2個月）。所以，準備花兩個月的時間，把自己所學的知識好好整理一下，所以準備在51CTO上寫一寫我的學習之路，一來，可以複習鞏固一下自己所學的；二來可以讓高手指導一下我的不足。

一，Hive資料匯入的幾種方式 首先列出講述下面幾種匯入方式的資料和hive表。 Hive表： 建立testA： CREATE TABLE testA (id INT,name string,area string) PARTITIONED BY (create_time string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; 建立testB： CREATE

前言     生產環境中我們經常要按照一定的時間規律定時做一些工作，比如對一些重要的文檔進行定時備份；也可能要在每天早上8點鐘準時跑出一支報表；也或許你要每周一系統自動發Mail提醒你本周要做的事情…等等如此這般。 對於此類問題解決的方案有很多：可以使用windows task schedule(任務計劃)定時運行某個bat檔案/exe檔案等；也可以使用資料庫(如Oracle,MS Sql

在使用hadoop2.2.0 的 fairscheduler的時候，出現了下面的一個問題： 當多個用戶端提交任務的時候，發現產生的appatempt 沒有進入fairscheduler的 eventQueue，導致fairscheduler沒有對該任務進行調度，而當am向scheduler請求這個作業的資訊時，出現下面的問題，而且是打了很多這樣的log： 2013-11-27 14:27:02,258 ERROR