網站運營

HTTP://www.aliyun.com/zixun/aggregation/14402.html">桌面虛擬化的部署很難，而且不一定會節約成本。 因此在開始之前有必要瞭解一下虛擬化帶來的挑戰。 　　現在基於鏡像的OS部署、補丁和個人化設置，通過眾所周知的Windows本地設定檔可以輕鬆實現，而且也非常穩定。 另一方面桌面虛擬化卻增加了提供Windows桌面和應用的複雜性...

我認為資料倉儲能夠通過三種方式來説明企業處理好資料問題：第一、在一個企業資料倉儲中，你按照主題領域來劃分組織你的資料，而這些主題領域往往是比較穩定的。 　　那些想要弄清楚「大資料」概念的組織需要做出一個選擇，是要採用傳統的資料倉儲概念和現有的資料倉儲架構，還是不熟越來越流行的開源Hadoop分散式處理平臺，或者使用這二者的結合。 　　那些想要從簡單的BI報表轉向深度資料採礦與預測分析的企...

今天在測試通過JAVA操作遠端的AIX主機，突然想到之前在Linux上安裝過Hadoop，但是沒有在Aix上做過嘗試，很想知道Hadoop在Aix下的安裝是否會有什麼不同，於是心血來潮的安裝了一遍，過程記錄如下： 　　1. 在Aix上安裝解壓縮軟體，安裝JAVA等，這裡就不說了。 　　2.下載Hadoop0.21.0版本，並解壓至特定目錄下，這裡解壓到 /home/cqq/hadoop-0...

書接上回，繼續為大家講解MapReduce使用者程式設計介面MapReduce – 使用者程式設計介面 下面將著重談下MapReduce框架中使用者經常使用的一些介面或類的詳細內容。 瞭解這些會極大説明你實現、配置和優化MR任務。 當然javadoc中對每個class或介面都進行了更全面的陳述，這裡只是一個指引教程。 首先來看下Mapper和Reducer介面，通常MR應用都要實現這兩個介面來提供map和re...

* 檔操作 　　* 查看目錄檔 　　* $ hadoop dfs -ls /user/cl 　　* 　　* 創建檔目錄 　　* $ hadoop dfs -mkdir /user/cl/temp 　　* 　　* HTTP://www.al iyun.com/zixun/aggregation/18137.html">刪除檔 　　* $ hadoop dfs -rm ...

明白MapReduce 程式的工作原理之後，下一步便是通過代碼來實現它。 我們需要三樣東西：一個map 函數、一個reduce 函數和一些用來運行作業的代碼。 map函數由Mapper 介面實現來表示，後者聲明瞭一個map()方法。 例2-3 顯示了我們的map函數實現。 　　例2-3. 查找最高氣溫的Mapper 　　import java.io.IOException; &HTTP...

關於圓周率大家再熟悉不過了： 我們從課本上學習到早在一千多年前，祖沖之將圓周率計算到3.1415926到3.1415927之間... 電腦誕生後，計算圓周率被用來檢測電腦的硬體性能，晝夜燃燒cpu看會不會出問題... 另外一些人也想看看這個無限延伸的神秘數位背後是否有規律，能發現一些宇宙的秘密... 提起圓周率，不能不提及Fabrice Bellard，他被認為是一位電腦天才，在業界有著...

NSA在猶他州沙漠修建的「大規模監控」資料中心可以篩查並分析全球大多數網路流量，從地理位置、音視頻檔、電子郵件、即時通信、社交網路等各種數位文檔。 當然，能夠追蹤我們數位足跡的不僅僅是NSA，在這個個人隱私裸奔的年代，形形色色的政府部門和商業公司隨時都可以掌握我們的一言一語、一舉一動。 作為普通線民，有沒有靠譜的自我保護辦法呢？ 　　早些時候《華盛頓郵報》曾經給出躲避NSA監控的五點個人...

hadoopHTTP://www.aliyun.com/zixun/aggregation/17253.html">常見問題解決： 　　------------------------------------------ ----------------- 　　WARN mapred. LocalJobRunner: job_local910166057_0001 　　org...

SDN(軟體定義網路Software Defined Network)是新一代資料中心中最熱門的技術。 各大網路設備廠商都紛紛發佈了自己的SDN戰略，試想在這個新的領域一爭高下。 不過根據IDC最新的研究結果表明：在2013年，整個商業網路行業的市場價值420億美元，其中將近一半來自2~3層網路交換器市場，SDN市場只有1.68億美元，而到2016年SDN市場才能達到20億美元。 從整個網路行...

1、中繼資料（Metadata）：維護HDFS檔案系統中檔和目錄的資訊，分為記憶體中繼資料和元資料檔案兩種。 NameNode維護整個中繼資料。 HDFS實現時，沒有採用定期匯出中繼資料的方法，而是採用中繼資料鏡像檔案（FSImage）+日子檔（edits）的備份機制。 2、Block：檔內容而言。 尋路徑流程：&HTTP://www.aliyun.com/zixun/aggregation/37...

以下是本人hive的安裝過程: hive 是Hadoop中最常用的工具，可以說是必裝工具。 按apache官方文檔，推薦使用svn下載後編譯，文檔位址：HTTPs://cwiki.apache.org/confluence/display/Hive/AdminManual+Installation 但build時 ，因為依賴關係，整了很久，下了很多包也沒有成功。 推薦使用tar.gz包，直接安...

1、NameNode啟動載入中繼資料情景分析NameNode函數裡調用FSNamesystemm讀取dfs.HTTP://www.aliyun.com/zixun/aggregation/11696.html"> namenode.name.dir和dfs.namenode.edits.dir構建FSDirectory。 FSImage類recoverTransitionRead和...

使用 使用使用 使用 HDFS 保存大量小檔的缺點： 1.Hadoop NameNode 在記憶體中保存所有檔的「元資訊」資料。 據統計，每一個檔需要消耗 NameNode600 位元組記憶體。 如果需要保存大量的小檔會對NameNode 造成極大的壓力。 2.如果採用 Hadoop MapReduce 進行小檔的處理，那麼 Mapper 的個數就會跟小檔的個數成線性相關（備註：FileI...

以hadoop0.21為例。 NameNode.java: 主要維護檔案系統的名字空間和檔的中繼資料，以下是代碼中的說明。 /**********************************************************&HTTP://www.aliyun.com/zixun/aggregation/37954. html">nbsp;  ...

GitHub是一個開源軟體協作平臺，同時為開發者提供交流的平臺。 Git最初是由Linus Torvald編寫的一個分散式的軟體版本管理程式，用來管理Linux內核代碼的開發。 GitHub實現了Git的代碼託管、HTTP://www.aliyun.com/zixun/aggregation/9591.html">版本控制功能，你可以通過Fork專案來加入一個專案開發團隊，通...

參考Hadoop_HDFS系統雙機熱備方案.pdf，試驗後有所增減   關於hadoopnamenode的雙機熱備份方案 1、        前言 目前hadoop-0.20.2沒有提供name node的備份，只是提供了一個secondary node，儘管它在一定程度上能夠保證對name node的備份，但當name node所在的機器出...

經過近幾年的發展NoSQL資料庫逐漸火了起來，但是這並不意味開發者就要放棄原有的可以直接從巨量資料中獲得真知的SQL查詢。 　　請訪問原文查看視頻（需翻牆） 　　SQLstream CEO Damian Black在HTTP://www.aliyun.com/zixun/aggregation/13821.html">GigaOM的 Structure會議上帶來了他們的...

1 hadoop集群規劃 　　1.1 共有A、B、C 三台機器; 　　1.2 A 作為master,B作為slave1,C作為slave2; 　　1.3 IP &HTTP://www.aliyun.com/zixun/aggregation/37954.html">nbsp; A :192.168.1.103; B:192.168.1.104; C:192.168.1....

今天參加了3個keynotes，42個session中的8個，和一大堆廠商討論技術，真是資訊大爆炸的一天。 　　Hadoop從誕生到今年已經有7個年頭，今年出現了很多新的變化： 　　1、Hadoop被公認是一套行業大資料標準開源軟體，在分散式環境下提供了海量資料的處理能力（Gartner）。 幾乎所有主流廠商都圍繞Hadoop開發工具、開源軟體、商業化工具和技術服務。 今年大型IT公司，如...