其他

 使用lvm2整合系統磁碟資源1， 如果是邏輯分區，先在其上建立新的分區fdisk /dev/sdc   …     //建立的分區為sdc62, 建立物理卷  pvcreate /dev/sdc6pvdisplay顯示物理卷資訊3, 建立卷組 vgcreate  dnfs   /dev/sdc6如果卷組已經存在，可使用vgextend將/dev/sdc6加入。vgextend dnfs /dev/sdc64，建立邏輯卷   lvcreate –n osd –L 500G dnfs

最近幾天在做一個叢集間資料移轉的任務，要做的事很簡單，就是給定一個任務檔案，檔案中每一行對應一個source:dest形式的遷移任務（source和dest均為檔案名稱），任務數在千萬層級。要做的事情其實很簡單，讀取每一行，解析出source和dest，並根據給定的叢集資訊從源叢集讀取source，並寫到目的地組群的dest。經曆了寫程式、執行任務、分析日誌、改程式、再執行子任務...等多次折磨之後，發現自己在處理任務的過程中走了很多彎路，原因是剛開始沒有意識到問題的複雜性，處理的方式太過簡單，

mso-ascii-theme-font:minor-latin;mso-fareast-font-family:宋體;mso-fareast-theme-font:minor-fareast;mso-hansi-font-family:Calibri;mso-hansi-theme-font:minor-latin">網路伺服器的實現不外乎兩種情況，一是為某個業務單端程式開發伺服器，二是實現通用網路伺服器架構，前者的設計可能很大程度的受業務需求的影響，而後者則要保證簡單易用，穩定服務，最好還有

TFS主要用於小檔案儲存體，其將多個小檔案儲存體在大的block中，並為這些小檔案建立in-block索引，最佳化了檔案的儲存空間和定址過程。TFS為了保證使用者資料的安全性，為每個block在不同的資料服務器（dataserver，ds）上建立多個副本，另外，TFS還支援多叢集資料同步。TFS提供給使用者使用的基本介面類似於vfs提供的檔案系統，主要包括open、read/write、close、lseek、外加save_file、fetch_file等一些封裝的介面。使用者往TFS裡儲存一個

TFS資料服務器(DS)通過在物理塊的頭部存放一個BlockPrefix結構來記錄邏輯塊與物理塊的對應關係，在DS時，會讀取每一個已經使用的block，並讀取block頭部的資訊，彙報給NS，NS通過這些資訊建立邏輯塊到DS的映射關係。最初，TFS使用300G的小盤，按照每個主塊64M，每個擴充塊2M計算，物理塊的總數接近1500個，即使這些塊全部使用全部使用了（正常狀態下擴充塊的利用率不會太高），載入這些物理塊也不到30s，這個時間是可以忍受的，但目前TFS多使用2T的盤，物理塊總數會在7w左

mso-ascii-theme-font:minor-latin;mso-fareast-font-family:宋體;mso-fareast-theme-font:minor-fareast;mso-hansi-font-family:Calibri;mso-hansi-theme-font:minor-latin">線程池服務模型是single thread

當Web伺服器、檔案伺服器、遊戲伺服器等的使用者數不斷增加時，單伺服器模型肯定不能完全滿足服務的需求，叢集服務模式已經逐漸普及，使用伺服器叢集做後台，一個主要的問題就是要解決負載平衡問題。 負載平衡演算法主要分為兩種，持久性和非持久性的負載平衡，持久性是指特定用戶端發出的請求將由同一伺服器服務。持久性演算法主要基於隨機理論，即其預設客戶的訪問時隨機的，從而伺服器的選擇也是隨機的，以此來實現負載平衡。如可以根據客戶的IP地址的hash值，http前序資訊等來選擇伺服器，相同的IP地址的用戶端將被分

安裝與使用參考【1】  http://clewn.sourceforge.net/install.html【2】  http://sourceforge.net/projects/clewn/files/vimGdb/【3】 

問題描述：在編譯器時，提示一個錯誤和一個警告。error：storage size of tz isn’t know； 其中tz是struct timezone類型的變數。warning：implicit declaration of function lstat； 使用man手冊查了一下，發現tz需要加上sys/time.h標頭檔，lstat需要加上sys/lstat.h標頭檔，但這兩個標頭檔都已經包含了，百思不得其解。 無意間搜到一種解決方案，在編譯時間加上-D_GNU_SOURCE(定義_

Ext2設計思想：Ext2 features1， 支援4TB大檔案。2， 支援255字元的檔案名稱，並可擴充到1012位元組。3， 為root使用者預留一些塊。Advanced ext2 features1， 支援多種塊大小，1024，2048，4096.2， 快速的符號連結實現（小於60個字元的串連名時不需要額外分配塊）。3， 追蹤檔案系統狀態，是否為dirty，是否一致等，設定最大檢查間隔，最大掛載計數等Tune2fs可改變檔案系統的參數1， 出錯行為。2， 最大檢查間隔。3，

mso-pagination:widow-orphan">svnadminmso-fareast-font-family:宋體;mso-fareast-theme-font:minor-fareast;mso-hansi-font-family:Calibri;mso-hansi-theme-font:minor-latin">與svnserveCalibri;mso-ascii-theme-font:minor-latin;mso-fareast-font-family:宋體;mso-fare

TFS沒有採用目前流行的3副本策略，而是使用叢集內配置2個副本，並把資料同步到一個輔叢集，輔叢集同樣配置2個副本；這種方式對於實現異地機房容災很方便，輔叢集的資料同步是由主叢集的資料服務器在後台發起的；目前主叢集可讀寫，輔叢集唯讀，雙叢集同時讀寫功能已開發完成，但沒有線上上使用。由於資料同步到輔叢集是非同步作業，當某次讀檔案的操作落到輔叢集上時，可能該檔案的同步尚未完成，此時在輔叢集上讀不到資料，這個問題目前是通過失敗後在叢集間重試來避免（迭代）；還有一種方式就是當輔叢集發現檔案不存在時，主動去

WeiboFS是基於新浪微博的檔案系統，它將新浪微博虛擬成一個linux本地檔案系統，使用者像使用檔案系統一樣來看微博，發微博。WeiboFS的開發需要用到FUSE, fusepy, sinatpy2.xFUSE是指使用者空間檔案系統，通過FUSE，開發人員通過實現一組使用者空間的介面即可實現一個檔案系統。 fusepy是FUSE的python-binding工具，通過fusepy，開發人員可以使用python來實現檔案系統的介面。

宋體;mso-ascii-theme-font:minor-fareast;mso-fareast-font-family:宋體;mso-fareast-theme-font:minor-fareast;mso-hansi-font-family:宋體;mso-hansi-theme-font:minor-fareast;mso-bidi-font-family:Arial;color:black;background:white">screenArial;mso-bidi-font-famil

叢集資料對比功能的添加對TFS

mso-ascii-theme-font:minor-latin;mso-fareast-font-family:宋體;mso-fareast-theme-font:minor-fareast;mso-hansi-font-family:Calibri;mso-hansi-theme-font:minor-latin">典型情況：三個副本構成一個group mso-char-indent-count:0;mso-list:l0 level1 lfo1">1. Calibri;mso-ascii-

TFS目前使用擴充塊來解決檔案寫、更新問題。擴充塊的數量由磁碟可用空間、主塊大小、擴充塊大小、Dataserver(DS)配置項block_ratio決定。TFS主塊和擴充塊的數量在檔案系統格式化的時候就已經確定，並且預先分配了所有塊的儲存空間。DS周期性的彙報儲存空間使用率給Namserver，DS根據主塊和擴充塊使用率中的較大值做為DS儲存空間的使用率。擴充塊使用率引發的問題理想情況；擴充塊與主塊的使用率非常接近或相同； 擴充塊使用率遠低於主塊的使用率：該趨勢的持續大量擴充塊空間的浪費。

mso-ascii-theme-font:minor-latin;mso-fareast-font-family:宋體;mso-fareast-theme-font:minor-fareast;mso-hansi-font-family:Calibri;mso-hansi-theme-font:minor-latin">有mmso-ascii-theme-font:minor-latin;mso-fareast-font-family:宋體;mso-fareast-theme-font:mino

TFS資料服務器的block是在DS第一次啟動前格式化的，所有block的空間是預先分配好的，而物理塊對應的index檔案，則是block被分配使用時建立的。Index檔案的大小是根據block中檔案數目增加而增長的，為了提高效能，將整個index檔案都mmap到記憶體直接存取。  在初次mmap

上周末ADC，@明儼