其他

failed task可理解為自殺，也就是task本身出了問題而自殺；killed task可理解為是他殺，也就是jobtracker認為這個任務的執行是多餘的，所以把任務直接殺掉。起初用hadoop的時候經常在一個complete的job中看到幾個failed 或者是 killed task，還經常好奇為什麼有的時候task的失敗不會影響到整個job的失敗，而有的時候就會使整個job的失敗，到底failed和killed task對整個job的影響是什嗎？failed task failed

我們知道許可權對於使用者帳號來說是非常重要的，因為他可以限制使用者能不能讀取/建立/刪除/修改檔案或目錄！ 在這一章我們介紹了很多檔案系統的管理命令，第六章則介紹了很多檔案許可權的意義。在這個小節當中， 我們就將這兩者結合起來，說明一下什麼命令在什麼樣的許可權下才能夠運行吧！^_^一、讓使用者能進入某目錄成為『可工作目錄』的基本許可權為何：可使用的命令：例如 cd 等變換工作目錄的命令；目錄要求的權限：使用者對這個目錄至少需要具有 x 的許可權額外需求：如果使用者想要在這個目錄內利用 ls

在分布式演算法領域，有個非常重要的演算法叫Paxos, 它的重要性有多高呢，Google的Chubby [1]中提到all working protocols for asynchronous consensus we have so far encountered have Paxos at their core.關於Paxos演算法的詳述在維基百科中有更多介紹，中文版介紹的是choose value的規則[2]，英文版介紹的是Paxos 3 phase

記憶體置換空間(swap)之建置安裝時一定需要的兩個 partition 囉！ 一個是根目錄，另外一個就是 swap(記憶體置換空間)， swap 的功能就是在應付實體記憶體不足的情況下所造成的記憶體延伸記錄的功能。一般來說，如果硬體的配備足夠的話，那麼 swap 應該不會被我們的系統所使用到， swap 會被利用到的時刻通常就是實體記憶體不足的情況了。我們知道 CPU 所讀取的資料都來自於記憶體，

背景在日常生活中，包括在設計電腦軟體時，我們經常要判斷一個元素是否在一個集合中。比如在文書處理軟體中，需要檢查一個英語單詞是否拼字正確（也就是要判斷它是否在已知的字典中）；在 FBI，一個嫌疑人的名字是否已經在嫌疑名單上；在網路爬蟲裡，一個網址是否被訪問過等等。最直接的方法就是將集合中全部的元素存在電腦中，遇到一個新元素時，將它和集合中的元素直接比較即可。一般來講，電腦中的集合是用雜湊表（hash

前言下面是這個教程將教你如何在Ext3的檔案系統中恢複被rm掉的檔案。 刪除檔案假設我們有一個檔案名稱叫 ‘test.txt’  $ls -il test.txt 15 -rw-rw-r– 2 root root 20 Apr 17 12:08 test.txt注意：: “-il” 選項表示顯示檔案的i-node號（15），如果你不知道Unix/Linux檔案系統的“I結點”的話，你有必要先補充一下相關的知識。簡單說來，i結點就是操作管理檔案的一個標識號。我們再看一下其內容：$ cat

Boot loader: Grub進階本文記錄grub的一些進階配置 關於核心功能當中的 vga 配置事實上，你的 tty1~tty6 除了 80x24 的解析度外，還能夠有其他解析度的支援喔！但前提之下是你的核心必須支援 FRAMEBUFFER_CONSOLE 這個核心功能選項才行。如何確定有沒有支援呢？你可以查閱 /boot/config-2.6.18-92.el5 這個檔案，然後這樣搜尋：[root@www ~]# grep 'FRAMEBUFFER_CONSOLE'

在Unix/Linux下，最危險的命令恐怕就屬rm命令了，每次在root下使用這個命令的時候，我都要盯著命令列看上幾分鐘才敢把斷行符號敲下去。以前，看到同事在指令碼中使用rm命令 —— rm

磁碟檢驗由於系統在運行時誰也說不準啥時硬體或者是電源會有問題，所以『死機』可能是難免的情況(不管是硬體還是軟體)。 現在我們知道檔案系統運行時會有硬碟與記憶體資料非同步狀況發生，因此莫名其妙的死機非常可能導致檔案系統的錯亂。 問題來啦，如果檔案系統真的發生錯亂的話，那該如何是好？就...挽救啊！此時那個好用的 filesystem check, fsck 就得拿來仔細瞧瞧囉。 fsck[root@www ~]# fsck [-t 檔案系統] [-ACay] 裝置名稱選項與參數：-t ：如同

前言在 Linux 底下的連結檔有兩種，一種是類似 Windows 的捷徑功能的檔案，可以讓你快速的連結到目標檔案(或目錄)，這種是軟連結； 另一種則是透過檔案系統的 inode 連結來產生新檔名，而不是產生新檔案！這種稱為永久連結 (hard link)。 這兩種玩意兒是完全不一樣的東西呢！現在就分別來談談。Hard Link (實體連結, 硬式連結或實際連結)在前一小節當中，我們知道幾件重要的資訊，包括：每個檔案都會佔用一個 inode ，檔案內容由 inode

Linux檔案屬性嗯！既然要讓你瞭解Linux的檔案屬性，那麼有個重要的也是常用的指令就必須要先跟你說囉！那一個？就是『 ls 』這一個察看檔案的指令囉！在你以root的身份登入Linux之後，下達『 ls -al 』看看，會看到底下的幾個咚咚：[root@www ~]# ls -altotal 156drwxr-x--- 4 root root 4096 Sep 8 14:06 .drwxr-xr-x 23 root root 4096

磁碟參數修訂某些時刻，你可能會希望修改一下目前檔案系統的一些相關資訊，舉例來說，你可能要修改 Label name ， 或者是 journal 的參數，或者是其他硬碟運行時的相關參數 (例如 DMA 啟動與否～)。 這個時候，就得需要底下這些相關的命令功能囉～ mknod還記得我們說過，在 Linux 底下所有的裝置都以檔案來代表吧！但是那個檔案如何代表該裝置呢？ 很簡單！就是透過檔案的 major 與 minor 數值來替代的～所以，那個 major 與 minor

cat (concatenate)[root@www ~]# cat [-AbEnTv]選項與參數：-A ：相當於 -vET 的整合選項，可列出一些特殊字元而不是空白而已；-b ：列出行號，僅針對非空白行做行號顯示，空白行不標行號！-E ：將結尾的斷行位元組 $ 顯示出來；-n ：列印出行號，連同空白行也會有行號，與 -b 的選項不同；-T ：將 [tab] 按鍵以 ^I 顯示出來；-v ：列出一些看不出來的特殊字元 檢閱 /etc/issue 這個檔案的內容[root@www ~]

大部分是小作業,大多數運行幾分鐘或十幾分鐘.絕大多數在半小時之內。佔用的slot數一般為幾十到幾百。叢集同時在啟動並執行作業數比較多。繁忙的時候同時啟動並執行作業有六百多個, 每天完成的作業數萬個。有些作業被分析多個要求順序執行的小作業。各作業的依賴性比較大, 後面一組作業的開始時間受限前一組作業的結束時間Map slots與Reduce slots使用率不高，特別是Reduce

核心與核心模組談完了整個啟動的流程，您應該會知道，在整個啟動的過程當中，是否能夠成功的驅動我們主機的硬體配備， 是核心 (kernel) 的工作！而核心一般都是壓縮檔，因此在使用核心之前，就得要將他解壓縮後， 才能載入主記憶體當中。另外，為了應付日新月異的硬體，目前的核心都是具有『可讀模數塊化驅動程式』的功能， 亦即是所謂的『 modules (模組化)』的功能啦！所謂的模組化可以將他想成是一個『外掛程式』， 該外掛程式可能由硬體開發廠商提供，也有可能我們的核心本來就支援～不過，較新的硬體，

利用 GNU 的 parted 進行分割行為雖然你可以使用 fdisk 很快速的將你的分割槽切割妥當，不過 fdisk 卻無法支援到高於 2TB 以上的分割槽！ 此時就得需要 parted 來處理了。不要覺得 2TB 你用不著！ 2009 年的現在已經有單顆硬碟高達 2TB 的容量了！ 如果再搭配主機系統有內建磁碟陣列裝置，要使用數個 TB 的單一磁碟裝置也不是不可能的！ 所以，還是得要學一下這個重要的工具！ parted ！parted

關於程式的運行順序我們知道 Linux 是多人多工的環境，由 top 的輸出結果我們也發現， 系統同時間有非常多的程式在運行中，只是絕大部分的程式都在休眠 (sleeping) 狀態而已。 想一想，如果所有的程式同時被喚醒，那麼 CPU 應該要先處理那個程式呢？也就是說，那個程式被啟動並執行優先序比較高？ 這就得要考慮到程式的優先運行序 (Priority) 與 CPU 排程羅！CPU 排程與前一章的例行性工作排程並不一樣。 CPU 排程指的是每支程式被 CPU 啟動並執行演算規則，

 啟動掛載 /etc/fstab 及 /etc/mtab剛剛上面說了許多，那麼可不可以在啟動的時候就將我要的檔案系統都掛好呢？這樣我就不需要每次進入 Linux 系統都還要在掛載一次呀！當然可以囉！那就直接到 /etc/fstab 裡面去修修就行囉！不過，在開始說明前，這裡要先跟大家說一說系統掛載的一些限制：根目錄 / 是必須掛載的﹐而且一定要先於其它 mount point 被掛載進來。其它 mount point 必須為已建立的目錄﹐可任意指定﹐但一定要遵守必須的系統目錄架構原則所有

如何改變檔案屬性與許可權我們現在知道檔案許可權對於一個系統的安全重要性了，也知道檔案的許可權對於使用者與群組的相關性， 那麼如何修改一個檔案的屬性與許可權呢？又！有多少檔案的許可權我們可以修改呢？ 其實一個檔案的屬性與許可權有很多！我們先介紹幾個常用於群組、擁有者、各種身份的許可權之修改的指令，如下所示：chgrp ：改變檔案所屬群組chown ：改變檔案擁有者chmod ：改變檔案的許可權, SUID, SGID,

在學習某一函數庫的時候，我們經常做的第一件事， 就是把該函數庫的源碼下載回來進行編譯和安裝(一般是這三步：./configure -> make -> make install)，然後寫一些調用庫函數的小用例，看其能否正常運行以及運行後的效果。完成庫函數安裝，當我們滿心期待地使用GCC進行用例編譯的時候， 卻經常遇到以下問題：test.c:X:XX: fatal error: XXXX.h: No such file or directorycompilation