其他

對Tomcat部署web應用的方式總結，常見如下：Tomcat自動部署將PetWeb目錄拷貝到$CATALINA_HOME\webapps下，然後啟動伺服器就可以了。這種方式比較簡單，但是web應用程式必須在webapps目錄下。訪問地址如下：  http://localhost:8080/PetWeb/  修改Server.xml檔案部署用UE或EditPlus開啟Tomcat位於conf/server.xml的設定檔，找到以下內容：<Host name="localhost"

前言tomcat7開始，tomcat支援應用的多版本部署，這個特性很不錯，尤其是生產環境中，升級應用，無需重啟tomcat，升級過程不影響業務。熱升級的特性，也只有少數頂級商業中介軟體能做到。 tomcat的並行部署tomcat7開始，可以同時部署相同context path的多個不同版本的web應用，現在只能通過tomcat manager使用WAR file to

轉自和修改自：http://blog.sina.com.cn/s/blog_553761ef0100oevm.html 一 安裝在卸載或更改程式->開啟或關閉windows的功能-> 安裝nfs服務 安裝完成後，就可以在Windows的命令列視窗中通過mount以及showmount命令使用NFS的共用了。 二 使用 1）showmountC:\>showmount /?用法: showmount -e [server]       showmount -a [server] 

詳細元素屬性                  

表或者欄位有中文的時候需要修改hive的中繼資料庫的設定。以mysql為例子，當mysql的字元集設定成utf8的時候使用hive會有問題，詳細見hive的wiki。所以當hive使用mysql作為中繼資料庫的時候mysql的字元集要設定成latin1。為了儲存那些utf8的中文，要將mysql中儲存注釋的那幾個欄位的字元集單獨修改為utf8。修改欄位注釋字元集alter table COLUMNS modify column COMMENT varchar(256) character

Union 文法select_statement UNION ALL select_statement UNION ALL select_statement ...UNION用於聯合多個SELECT語句的結果集，合并為一個獨立的結果集。當前只能支援UNION ALL(bag union)。不消除重複行。每個select語句返回的列的數量和名字必須一樣，否則，一個語法錯誤會被拋出。 如果必須對UNION的結果做一些額外的處理，整個語句可以被嵌入在FROM子句中，象下面這樣SELECT *FROM

order byorder by 會對輸入做全域排序，因此只有一個reducer（多個reducer無法保證全域有序）只有一個reducer，會導致當輸入規模較大時，需要較長的計算時間。set hive.mapred.mode=nonstrict; (default value / 預設值)set hive.mapred.mode=strict; order by 和資料庫中的Order by 功能一致，按照某一項 & 幾項 排序輸出。 與資料庫中 order by

文章目錄   Group By 文法groupByClause: GROUP BY groupByExpression (, groupByExpression)*groupByExpression: expressiongroupByQuery: SELECT expression (, expression)* FROM src groupByClause? 簡單例子為了計算表的行數: SELECT COUNT(*) FROM

介紹hive的使用者自訂彙總函式（UDAF）是一個很好的功能，整合了先進的資料處理。hive有兩種UDAF：簡單和通用。顧名思義，簡單的UDAF，寫的相當簡單的，但因為使用Java反射導致效能損失，而且有些特性不能使用，如可變長度參數列表。通用UDAF可以使用所有功能，但是UDAF就寫的比較複雜，不直觀。本文只介紹通用UDAF。UDAF是需要在hive的sql語句和group by聯合使用，hive的group

Common Join最為普通的join策略，不受資料量的大小影響，也可以叫做reduce side join ,最沒效率的一種join 方式. 它由一個mapreduce job 完成.首先將大表和小表分別進行map 操作, 在map shuffle 的階段每一個map output key 變成了table_name_tag_prefix + join_column_value , 但是在進行partition 的時候它仍然只使用join_column_value

1. UDTF介紹UDTF(User-Defined Table-Generating Functions) 用來解決 輸入一行輸出多行(On-to-many maping) 的需求。 2. 編寫自己需要的UDTF繼承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF,實現initialize, process,

hive檔案儲存體格式包括以下幾類：TEXTFILESEQUENCEFILERCFILE自訂格式其中TEXTFILE為預設格式，建表時不指定預設為這個格式，匯入資料時會直接把資料檔案拷貝到hdfs上不進行處理。SequenceFile,RCFile格式的表不能直接從本地檔案匯入資料，資料要先匯入到textfile格式的表中，然後再從textfile表中用insert匯入到SequenceFile,RCFile表中。 TEXTFIEL預設格式，資料不做壓縮，磁碟開銷大，資料解析開銷大。可結合Gzi

HDFS的基本概念1、資料區塊(block)HDFS(Hadoop Distributed File System)預設的最基本的儲存單位是64M的資料區塊。和普通檔案系統相同的是，HDFS中的檔案是被分成64M一塊的資料區塊儲存的。不同於普通檔案系統的是，HDFS中，如果一個檔案小於一個資料區塊的大小，並不佔用整個資料區塊儲存空間。2、中繼資料節點(Namenode)和資料節點(datanode)namenode用來管理檔案系統的命名空間其將所有的檔案和檔案夾的中繼資料儲存在一個檔案系統樹中。

目前hive不支援 in或not in 中包含查詢子句的文法，所以只能通過left join實現。假設有一個登陸表login(當天登陸記錄,只有一個uid),和一個使用者註冊表regusers(當天註冊使用者，欄位只有一個uid)，這兩個表都包含一個欄位,uid。 in查詢如果要查詢當天登陸的註冊使用者，需要用in查詢，hive sql如下:select login.uid from login left outer join regusers on

文章目錄 1.系統快取檔案夾的遷移2.修改瀏覽器的Internet 臨時檔案夾路徑3.更改p2p軟體下載存放檔案夾至RamDisk下 轉自：http://www.x-berry.com/  RamDisk是利用相關的軟體將記憶體劃分出來虛擬成硬碟。目前最為流行的RamDisk工具包括：1.VSuite Ramdisk —— 免費版或付費版，免費版木有64位，蛋疼（官網）。2.RamDisk Plus ——付費軟體（官網） 。3.Qsoft

Hadoop MapReduce程式中，reducer個數的設定極大影響執行效率，這使得Hive怎樣決定reducer個數成為一個關鍵問題。遺憾的是Hive的估計機制很弱，不指定reducer個數的情況下，Hive會猜測確定一個reducer個數，基於以下兩個設定：1. hive.exec.reducers.bytes.per.reducer（預設為1000^3）2. hive.exec.reducers.max（預設為999）計算reducer數的公式很簡單：N=min(參數2，總輸入資料量/

tomcat預設參數是為開發環境制定，而非適合生產環境，尤其是記憶體和線程的配置，預設都很低，容易成為效能瓶頸。 tomcat記憶體最佳化linux修改TOMCAT_HOME/bin/catalina.sh，在前面加入JAVA_OPTS="-XX:PermSize=64M -XX:MaxPermSize=128m -Xms512m -Xmx1024m

ps:在map和reduce的過程中,可以通過設定Context.setStatus()來隨時設定狀態,這個底層也是使用reporter來設定的1.在0.20.x版本中使用counter很簡單,直接定義即可，如無此counter，hadoop會自動添加此counter.Counter ct = context.getCounter("INPUT_WORDS", "count"); ct.increment(1);   2.在0.19.x版本中,需要定義enumenum MyCounter

本文分為4個分部：1. 介紹  2.基本架構   3.與Hive對比 

如，hadoop存取控制分為兩級，其中ServiceLevel Authorization為系統級，用於控制是否可以訪問指定的服務，例如使用者/組是否可以向叢集提交Job，它是最基礎的存取控制，優先於檔案許可權和mapred隊列許可權驗證。Access Control on Job Queues在job調度策略層之上，控制mapred隊列的許可權。DFSPermmision使用者控制檔案許可權。目前版本中，串連到hadoop叢集的使用者/組資訊取決於用戶端環境，即用戶端主機中`whoami`和`