其他

1. 概念      Protocol Buffer是一種類似於XML的靈活高效的結構化資料存放區格式，和XML相比，Protocol具有以下優勢：           1) simpler           2) smaller：3-10倍           3) faster：20-100倍           4) less ambiguous           5) generate data access classes that are easier to use

question： 需要知道某個日期前n天的日期eg： 需要知道20110417前10天的日期是什麼方式1： date -d "-10 days 20110417" +%Y%m%d方式2：$now=20110417#轉為秒 day_second=`date -d"$NOW" +%s`;#計算20天的秒數 seconds=`expr 86400 /* 10`#計算20天前時間的秒 history_second=`expr $day_second - $seconds`#20天前應該顯示的天

  streaming支援shell 命令的使用。但是，需要注意的是，對於多個命令，不能使用形如cat; grep 之類的多命令，而需要使用指令碼，後面將具體介紹。  下面樣本用grep檢索巨量資料：   1. 待檢索的資料放入hdfs        $ hadoop fs -put localfile /user/hadoop/hadoopfile        使用方法：hadoop fs -put ...        

本周一echo date('Y-m-d',(time()-((date('w')==0?7:date('w'))-1)*24*3600)); //w為星期幾的數字形式,這裡0為周日本周日echo date('Y-m-d',(time()+(7-(date('w')==0?7:date('w')))*24*3600)); //同樣使用w,以現在與周日相關天數算上周一echo date('Y-m-d',strtotime('-1 monday', time())); //無論今天幾號,-1

  streaming支援使用指令碼作為map、reduce程式。以下介紹一個實現分布式的計算所有檔案的總行數的程式   1. 待檢索的資料放入hdfs        $ hadoop fs -put localfile /user/hadoop/hadoopfile    2. 編寫map、reduce指令碼,記得給指令碼加可執行許可權。        mapper.sh       #!/bin/shwc –l        reducer.sh

給出一個整型數組，計算去重後元素個數eg：int a[] = {1,2,3,1,2,3,3}; 去重後元素個數為3方法1：暴力check是否重複，複雜度O(n^2)對於a[m]，順序比較a[m-1]，a[m-2].....a[0]，全部不重複，去重後元素個數+1代碼：int uniq_element(int* a, int len){if(len <= 1){return len;}int num = 1; //儲存獨立元素個數int i, j; //暴力比較咯for(i = 1; i &

偽靜態實現：（1）apache的rewrite機制（2）PHP的Regex練習一下apache + php + mysql 的搭建面試的時候：機試：作為一個合格的php工程師www.baidu.com  開始搭建環境：安裝的版本：apache 2.2.22 mysql 5.5.24php 5.3.13（1）卸載之前的軟體  一定要停止服務（2）卸載刪除一下環境變數：（3）安裝測試是否安裝成功：（2）安裝php因為php是作為apache的一個模組存在的所以通過apache的設定檔將php載入過來

資料存放區的一致性模型是儲存系統和資料使用者之間的約定。一致性有不同程度，大致如下：     1. 強一致性：更新完成後，任何後續訪問都將返回更新過的值。     2. 弱一致性：系統不保證後續訪問將返回更新過的值，在那之前要先滿足若干條件。通常條件就是經過一段時間，也就是不一致視窗。     3. 最終一致性：儲存系統保證如果對象沒有新的更新，最終所有訪問都將返回最後更新的值。最終一致性的各種實體：     1.

卸載wamp注意事項：關閉應用，停止服務，在cmd中 sc delete mysql sc delete apache2.2拷貝php注意事項：拷貝php的所有檔案中是沒有php.ini的但是有php.ini-devolopment和一個 php.ini-production

1. 概念什麼是Shared nothing architecture？wiki：“A shared nothing architecture (SN) is a distributed computing architecture in which each node is independent and self-sufficient, and there is nosingle point of contention across the system. More

當我直接建立工程的時候，在自己的main()函數裡調用MEM_alloc()函數申請一塊動態記憶體，編譯時間出錯如下：[Linking...]"C:\CCStudio_v3.3\C6000\cgtools\bin\cl6x" -@"Debug.lkf"<Linking>>>  error: 15-bit displacment ffffffff is not aligned. Located

如果程式運行所需要的可執行檔、指令碼或者設定檔在Hadoop叢集的計算節點上不存在，則首先需要將這些檔案分發到叢集上才能成功進行計算。Hadoop提供了自動分發檔案和壓縮包的機制，只需要在啟動Streaming作業時配置相應的參數。 1. –file 將本地檔案分發到計算結點 2. –cacheFile 檔案已經存放在HDFS中，希望計算時在每個計算節點上將檔案當作本地檔案處理 3. –cacheArchive 將存放在HDFS中的壓縮包分發並解壓-file實戰:

windows系統配置：在C:/windows/System32/drivers/etc/hosts檔案中進行修改（如果你沒有許可權進行修改，進行以下配置：右擊屬性->安全->選中你的許可權使用者編輯->把完全控制勾上->應用->okay）在檔案末尾添加：127.0.0.1  www.sina.com 這裡的www.sina.com 是我設定的虛擬機器主機的網域名稱apache伺服器配置：開啟重寫模組：LoadModule rewrite_module

1、xs 與 XDCsriptThe xs command is used to execute XDCscript programs. XDCscript is a general-purpose programming language based upon the ECMA-262 Edition 3 standard – popularly known as JavaScript 1.5.2、xdc.tools.configuroThe xdc.tools.configuro tool

一. 在c中分為這幾個儲存區 1.棧 - 由編譯器自動分配釋放 2.堆 - 一般由程式員分配釋放，若程式員不釋放，程式結束時可能由OS回收 3.全域區（靜態區），全域變數和靜態變數的儲存是放在一塊的，初始化的全域變數和靜態變數在一塊地區，未初始化的全域變數和未初始化的靜態變數在相鄰的另一塊地區。- 程式結束釋放4.另外還有一個專門放常量的地方。- 程式結束釋放 在函數體中定義的變數通常是在棧上，用malloc, calloc,

什麼是線程？線程是"進程"中某個單一順序的控制流程。也被稱為輕量進程（lightweight processes）。(好噁心的定義。。。。)為什麼使用線程呢？顧名思義，輕量級進程。一個線程資源的消耗遠遠低於一個進程，兩者相比大概在30倍（不同系統，有差距滴）。更大的優勢，線程切換所需時間遠低於進程切換。多線程編程要使用多線程編程麼?用pthread(POSIX

      MapReduce是一種編程模型，始於：Dean, Jeffrey & Ghemawat, Sanjay (2004). "MapReduce: Simplified Data Processing on Large Clusters"。主要應用於大規模資料集的並行運算。其將並行計算簡化為Map和reduce過程，極大地方便了編程人員在不會分布式並行編程的情況下,將自己的程式運行在分布式系統上。程式員只需要指定一個Map（映射）函數，用來把一組索引值對映射成一組新的索引值對，

今天op報出了個問題，線上監控程式檢測到/tmp目錄下發現大的臨時檔案，經查，是我寫的一個指令碼中sort命令產生的，悲劇~sort命令在進行大檔案排序，會自動使用外排序，此時預設會在/tmp目錄下建立一個大檔案，排序完成後刪除。 產生的臨時檔案是隱藏檔案，名稱like：sort9SQj4x 解決辦法，使用-T參數指定臨時檔案目錄 -T tempdir, --temporary-directory=dir     存放臨時檔案的目錄 樣本： sort –T /

1. Overviewsector/sphere was created by Dr. Yunhong Gu in 2006 and it is now maintained by a group of open source developers, available from : http://sector.sourceforge.net/sector : Distrubuted file systemsphere: parallel data processing

在記憶體配置失敗的情況下，new會拋出bad_alloc的異常，而malloc會返回null 指標。a. new異常處理try { int* a = new int[8000000000];cout << "get memory" << endl; } catch(bad_alloc& ba) {cout << "catch the exception" << endl; }b. malloc異常處理：int* a =