轉載請註明出處:http://blog.csdn.net/lastsweetop/article/details/9086695我們前幾篇文章講的都是單線程的操作,如果要並行拷貝很多檔案,hadoop提供了一個小工具distcp,最常見的用法就是在兩個hadoop叢集間拷貝檔案,協助文檔很詳盡,這裡就不一一解釋了,開發環境沒有兩個叢集,用同一叢集示範:hadoop distcp hdfs://namenode:9000/user/hadoop/input hdfs://namenode:9000
轉載請註明來源地址:http://blog.csdn.net/lastsweetop/article/details/9123155簡介我們在hadoop深入研究:(一)——hdfs介紹裡已講過,hdfs並不擅長儲存小檔案,因為每個檔案最少一個block,每個block的中繼資料都會在namenode節點佔用記憶體,如果存在這樣大量的小檔案,它們會吃掉namenode節點的大量記憶體。hadoop
角度分析(Angle):com.vividsolutions.jts.algorithm.AngleCoordinate tip1 = new Coordinate(0,0);Coordinate tail = new Coordinate(1,1);Coordinate tip2 = new Coordinate(4,3);Angle angle = new Angle();//返回兩個無向最小差異角度,範圍 [0, 180]double radia1 = angle.angle(tip1,
轉載請註明出處:hadoop深入研究:(六)——HDFS資料完整性資料完整性IO操作過程中難免會出現資料丟失或髒資料,資料轉送得量越大出錯得幾率越高。校正錯誤最常用得辦法就是傳輸前計算一個校正和,傳輸後計算一個校正和,兩個校正和如果不相同就說明資料存在錯誤,比較常用得錯誤校正碼是CRC32.hdfs資料完整性hdfs寫入的時候計算出校正和,然後每次讀的時候再計算校正和。要注意的一點是,hdfs每固定長度就會計算一次校正和,這個值由io.bytes.per.checksum指定,預設是512位元組
轉載請標明出處:hadoop深入研究:(七)——壓縮檔案壓縮主要有兩個好處,一是減少了隱藏檔所佔空間,另一個就是為資料轉送提速。在hadoop大資料的背景下,這兩點尤為重要,那麼我現在就先來瞭解下hadoop中的檔案壓縮。hadoop裡支援很多種壓縮格式,我們看一個表格:DEFLATE是同時使用了LZ77演算法與哈夫曼編碼(Huffman
轉載請註明出處:http://blog.csdn.net/lastsweetop/article/details/9173061所有源碼在github上,https://github.com/lastsweetop/styhadoop簡介codec其實就是coder和decoder兩個單詞的詞頭組成的縮減詞。CompressionCodec定義了壓縮和解壓介面,我們這裡講的codec就是實現了CompressionCodec介面的一些壓縮格式的類,下面是這些類的列表:使用CompressionC
因為 TGIFImage 不是控制項,所以使用之前不用特意安裝。但是如果你想在設計期使用 TImage 顯示 GIF 動畫,必須告訴Delphi 已經安裝了TGIFImage。 在開始之前,需要確定一些事情。 首先要保證沒有安裝過其他的 GIF 庫,因為 TGifImage 註冊為 TPictutre中處理GIF的handle, 如果你安裝過其他的GIF庫,有可能會衝突。 檢查你是否有安裝其他的GIF庫的方法是,建立立一個 FORM,添加 Timage 控制項然後在 “Object
轉載請註明出處:http://blog.csdn.net/lastsweetop/article/details/9187721作為輸入當壓縮檔做為mapreduce的輸入時,mapreduce將自動通過副檔名找到相應的codec對其解壓。作為輸出當mapreduce的輸出檔案需要壓縮時,可以更改mapred.output.compress為true,mapped.output.compression.codec為想要使用的codec的類名就可以了,當然你可以在代碼中指定,通過調用FileOut
原文串連http://www.xuedelphi.cn/wenzhang/kjsy/2009/07/200907193293.htm初始化和終止化(Initialization &
轉載請寫明來源地址:http://blog.csdn.net/lastsweetop/article/details/9193907所有源碼在github上,https://github.com/lastsweetop/styhadoop簡介序列化和還原序列化就是結構化對象和位元組流之間的轉換,主要用在內部進程的通訊和持久化儲存方面。通訊格式需求hadoop在節點間的內部通訊使用的是RPC,RPC協議把訊息翻譯成二進位位元組流發送到遠程節點,遠程節點再通過還原序列化把二進位流轉成原始的資訊。RP
如果您是一個網站技術管理員,您會發現,目前大多數的動態網站,都面臨如下兩個問題:1,動態網站無法主動聯絡使用者用過QQ的人都知道,即使您沒有開啟網頁,正專心於別的事情,當有好友在您的空間裡面留言或針對您的部落格發表評論的時候,QQ會立刻彈出一個提示視窗,提醒您查看空間動態。像QQ空間這樣的網站,通過QQ的提醒功能,成功地讓使用者感覺到跟網站一直在一起,從來沒有離開過這個網站。而普通的動態網站,除非使用者登入網頁,否則,一旦使用者關閉了網頁,網站就失去了跟使用者的聯絡。只能被動等待使用者的下一次登
像列表這種選擇項的彈出式對話方塊,要改變樣式一般都採取重寫layout方式今天才瞭解到 其實可以自訂樣式,與大家分享下,其實很簡單AlertDialog.Builder builder = new AlertDialog.Builder(new ContextThemeWrapper(this, R.style.AlertDialogCustom));然後自訂自己的樣式就可以了<?xml version="1.0"
在做飛信的時候看到nathan2007寫的FeitionSniffer(一個用BC++和WinPcap開發的小工具,小巧卻很實用),不禁暗暗想自己也能做個類似的東西,以後分析起協議就方便了.上網搜尋了一下,發現有人已經用C#把WinPcap的功能進行了封裝,開發了SharpPcap.然後看了SharpPcap tutorial,感覺還是挺簡單的.順便做個筆記以後用起來就方便了.1.
以自由拼音(freepy3.1)為例第一步:安裝freepy3.1第二步:a)如果是VC6.0 開啟freepy3.1工程,開啟vc主菜單的Project/settings的Link屬性頁面下的output file name 下輸入 c://winnt//system32//freepy.ime,這是win2000,如果是xp則可能是c://windows//system32//freepy.ime;還要在Debug屬性頁面下的Executable fordebug
配置Tomcat伺服器 Eclipse菜單,視窗->喜好設定,開啟喜好設定對話方塊,找到菜單樹中MyEclipse->Servers->Tomcat 6.X。選中Tomcat 6.X項,在對話方塊中,選中Enable選項按鈕,然後點擊Tomcat Home Directory 輸入框後的瀏覽按鈕,選擇Tomcat的安裝根目錄,這裡是D:/Tomcat6.0.26,其它的框會自動填滿。點擊應用按鈕。 選中Tomcat
轉載請寫明來源地址:http://blog.csdn.net/lastsweetop/article/details/9249411所有源碼在github上,https://github.com/lastsweetop/styhadoop簡介在hadoop中,Writable的實作類別是個龐大的家族,我們在這裡簡單的介紹一下常用來做序列化的一部分。java原生類型除char類型以外,所有的原生類型都有對應的Writable類,並且通過get和set方法可以他們的值。IntWritable和Lon
檔案名稱:domain/config/mimemappings.properties js=text/javascript css=text/css gif=image/gif htm=text/html html=text/html jpeg=image/jpeg jpg=image/jpeg bmp=image/bmp 可在此檔案中加入自已需要的內容。 個人覺得設定完後,Weblogic可能要重啟一下。 從OTN上找到點兒文字,好像有點用: 問題:Web
以下幾個小節並補獨立,都是相輔相成的,要結合來看,你就會發現很多有趣的地方。轉載請註明來源地址:http://blog.csdn.net/lastsweetop/article/details/90656671.拓撲距離這裡簡單講下hadoop的網路拓撲距離的計算在大數量的情景中,頻寬是稀缺資源,如何充分利用頻寬,完美的計算代價開銷以及限制因素都太多。hadoop給出了這樣的解決方案:計算兩個節點間的間距,採用最近距離的節點進行操作,如果你對資料結構比較熟悉的話,可以看出這裡是距離測量演算法的一
轉載請註明出處,來源地址:http://blog.csdn.net/lastsweetop/article/details/89645201.前言Google I/O 2013開發人員大會上被android studio震撼,沒想到intellij IDEA變的如此強大,我一直是eclipse的忠實粉絲,但已經為intellij
這是因為linux的防火牆預設不開發8080連接埠的,因此,若要能夠訪問8080連接埠,可以用兩種方式,一個是關閉防火牆,另一個就是讓防火牆開放8080連接埠。5. 開放8080連接埠的解決步驟如下: 1、修改/etc/sysconfig/iptables檔案,增加如下一行:vi /etc/sysconfig/iptables按o 輸入: -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 8080 -j