其他

Kosmos distributed file system (KFS)是一個專門為資料密集型應用（搜尋引擎，資料採礦等）而設計的儲存系統，類似於Google的GFS和Hadoop的HDFSDistributed File System。 KFS使用C++實現，支援的用戶端包括C++，Java和Python。以前曾在開源KFS基礎上做過開發，這裡介紹一下如何進行KFS的源碼編譯與安裝過程（以kfs-0.5為例）。1.安裝依賴軟體為了編譯和運行KFS檔案系統，需要安裝以下軟體包：Boost (1.

上一篇部落格介紹了KFS中RPC實現機制MetaServer端的實現，下面接著介紹一下KfsClient端的實現架構。KfsClient是為應用程式暴露的介面類，它是在應用程式代碼和KFS

KFS檔案系統的MetaServer中繼資料管理採用的是B+樹方式，下面將結合其源碼，對KFS MetaServer中中繼資料的組織形式及有關實現細節進行分析。1. 相關源碼檔案KFS

本文結合HBase 0.94.1版本源碼，對HBase的Block Cache實現機制進行分析，總結學習其Cache設計的核心思想。1. 概述HBase上Regionserver的記憶體分為兩個部分，一部分作為Memstore，主要用來寫；另外一部分作為BlockCache，主要用於讀。寫請求會先寫入Memstore，Regionserver會給每個region提供一個Memstore，當Memstore滿64MB以後，會啟動

所謂“時間相關多列資料”指的是同一個Key下具有多個屬性資料，並且這些資料與時間具有相關性，多數情境是該Key對應在不同時間時刻的行為資料。在實際應用中，這類資料很多，例如電子商務網站上使用者最近一段時間瀏覽的寶貝集合、訪問的URL列表等。使用HBase儲存此類資料時，有以下兩種常用的方案：多行單列表結構設計Row Key：使用者標識ID + (Long.MAX_VALUE - timestamp)Column Family：’cf’Column

多維分析技術是一種被廣泛應用的資料分析技術，本人在實際項目中使用開源OLAP架構Mondrian及關係型資料庫MySQL，嘗試設計並實現了一套多維資料的分析及同步系統，以解決現有技術對於互連網上即時資料流動變化資料無法進行快速有效多維度分析的問題。這裡是對該方案的詳細描述。1. 系統內部模組所示為該系統的內部模組結構，分為：即時資料收集模組，Realtime

作者: 大圓那些事 | 文章可以轉載，請以超連結形式標明文章原始出處和作者資訊網址: http://www.cnblogs.com/panfeng412/archive/2012/11/04/hbase-how-to-resolve-not-serving-region-exception.htmlHBase叢集在讀寫過程中，可能由於Region Split或Region

作者: 大圓那些事 | 文章可以轉載，請以超連結形式標明文章原始出處和作者資訊網址: http://www.cnblogs.com/panfeng412/archive/2012/11/11/hbase-thrift-api-common-issues-summary.htmlHBase對於非Java語言提供了Thrift介面支援，這裡結合對HBase Thrift介面（HBase版本為0.92.1）的使用經驗，總結其中遇到的一些問題及其相關注意事項。1.

1. 基本要求 1.1 程式結構清析，簡單易懂，單個函數的程式行數不得超過100行。 1.2 打算幹什麼，要簡單，直接了當，代碼精簡，避免垃圾程式。 1.3 盡量使用標準庫函數和公用函數。 1.4 不要隨意定義全域變數，盡量使用局部變數。 1.5 使用括弧以避免二義性。 2.可讀性要求 2.1 可讀性第一，效率第二。 2.2 保持注釋與代碼完全一致。 2.3 每個來源程式檔案，都有檔案頭說明，說明規格見規範。 2.4

Distributed File SystemKFS的MetaServer和Client採用伺服器/用戶端模型，MetaServer和Client之間的通訊是通過RPC機制來實現的。這裡介紹下KFS中MetaServer端的RPC實現機制。1. RPC相關類所示為MetaServer端的RPC相關實作類別：1、NetDispatch（1）啟動MetaServer端的epoll主迴圈；（2）通過調用gNetDispatch.Start(gClientPort, gChunkServerPort)，

作者: 大圓那些事 | 文章可以轉載，請以超連結形式標明文章原始出處和作者資訊網址: http://www.cnblogs.com/panfeng412/archive/2012/11/23/storm-common-issues-and-solutions-summarizing.html以下是對個人在使用Storm過程中遇到的一些常見問題及解決方案的整理，其中部分問題的解決方案來自於網路，由於已找不到原始連結，抱歉這裡沒有逐一列舉。1.

Kosmos distributed file system，簡稱KFS，是一個類GFS的Distributed File System，被設計用於分布式的結構化儲存。下面將對KFS的體繫結構進行簡單介紹，最後給出一個使用KFS C++ API的樣本。1. KFS體繫結構KFS和GFS的整體結構類似，圖中所示為GFS的體繫結構圖（來自於Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung的論文“The Google File System”）： 

文章目錄 2.2.1 安裝ZMQ 2.1.72.2.2 安裝JZMQ2.2.3 安裝Java 62.2.4 安裝Python2.6.62.2.5 安裝unzip 作者: 大圓那些事 | 文章可以轉載，請以超連結形式標明文章原始出處和作者資訊網址:

很慶幸，現在絕大多數個人部落格都已提供全文輸出，但是還有很多官方網站，比如新聞類網站還只是輸出摘要。對於這些網站，我們可以通過第三方來獲得RSS全文。當然對於新聞內容有好幾頁的情形，只能輸出第一頁。下面是他們的網址：http://mrss.dokoda.jp/http://feedex.net/ （推薦）http://fivefilters.org/content-only （據說能為不提供RSS的網站製作RSS輸出）http://pipes.yahoo.com/pipes/

1. 資料統計的需求互連網上對於資料的統計，一個重要的應用就是對網站網站資料的統計，例如CNZZ站長統計、百度統計、Google

作者: 大圓那些事 | 文章可以轉載，請以超連結形式標明文章原始出處和作者資訊網址: http://www.cnblogs.com/panfeng412/archive/2012/12/16/storm-related-technique-summary.htmlStorm作為一個開源的分布式即時資料流計算架構，其內部實現使用了一些常用的技術，這裡是對這些技術及其在Storm中作用的概括介紹。以此為基礎，後續再深入瞭解Storm的內部實現細節。1.

本課介紹了怎樣把一幅特定格式的BMP圖片貼到3D圖形表面的方法。本課的demo是矩形。BMP圖片有很多格式，需要寫一個函數還專門讀取BMP圖片。注釋起來的是用了glaux庫的，後來採用了NeHe提供的替換函數。本程式在vs2008下調試通過。需要的圖片在這裡，儲存到同級的data目錄下。#include<windows.h>//vs2008,windows.h has glaut.h#include<tchar.h>//#include <stdio.h>//

孫鑫的教程視頻網址是http://www.sunxin.org/先把孫鑫老師的VC++教程學一遍。算是VC++入門吧。所有的代碼在vs2008下調試通過。下面是第一課內容：建立一個視窗。//vs2008#include <TCHAR.h>//長字元#include<windows.h>#include <stdio.h>LRESULT CALLBACK WinSunProc(

這是電腦網路課程設計的作品，簡單實現了FTP用戶端。用winsock2標頭檔。算是socket編程的學習實踐。所有代碼在vc6.0下調試通過。/**本程式參考rfc959標準。能與遵守此標準的伺服器進行資訊互動。僅限於windows系統。*/#include < stdio.h >#include < string.h >#include < stdlib.h >/*system()*/#include < winsock2.h >#pragma

作者: 大圓那些事 | 文章可以轉載，請以超連結形式標明文章原始出處和作者資訊網址: http://www.cnblogs.com/panfeng412/archive/2013/03/22/hadoop-capacity-scheduler-configuration.html這裡參考Capacity Scheduler Guide，結合自己的實踐經驗，對Capacity