Time of Update: 2018-12-03
在前面已經安裝好的glusterfs基礎上,用兩台虛擬機器test1,test2來分布式儲存測試,IP分別為:192.168.30.6,192.168.30.71.首先確保這兩台虛擬機器執行sudo /etc/init.d/glusterd start啟動正常2.用其中一台來執行gluster命令,形式分布式叢集,例如本人用的是test1(192.168.30.6)這台機器來3.在test1這台機器上,首先執行sudo gluster peer probe
Time of Update: 2018-12-03
運行官網上的mahout kmeas樣本,結果檔案夾有clusteredPoints,clusters-N,data,用命令mahout seqdumper仔細看了一下結果檔案clusteredPoints:存放的是最後聚類的結果,將cluster-id和documents-id都展示出來了,用mahout
Time of Update: 2018-12-03
學習設計模式的過程應該是一個迭代的過程,學東西的時候不用追求一遍就掌握、理解透徹(很多情況也是不可能的)。看書看不懂、思想沒有理解,可以反覆去讀、去思考。因為實戰經驗少,書中給出的例子也有限,所以設計模式的學習可以先大概按書中的例子理解,至於真正應用,可以在後面實踐中嘗試將這些思維融合到考慮過程中。先將這些模式大概瞭解一下,因為現在實戰有限,所以很多模式只能表層體會,後面有時間再回過頭來再重新學習,可能會有更深層次的體會1.裝飾模式定義:動態地給一個對象添加一些額外的職責(不重要的功能,只是偶然
Time of Update: 2018-12-03
題目描述:設有n個正整數,將它們串連成一排,組成一個最小的多位整數程式輸入:n個數程式輸出:串連成的多位元例如:n=2時,2個整數32,321串連成的最小整數為:32132n=4時,4個整數55,31,312,33串連成的最小整數為:312313355實現代碼如下:#include <iostream>#include <string>using namespace std;//將整數轉換成字串來比較int cmp(char* strA,char*
Time of Update: 2018-12-03
1、選秀節目打分,分為專家評委和福士評委,score[] 數組裡面儲存每個評委打的分數,judge_type[] 裡儲存與 score[] 數組對應的評委類別,judge_type[i] == 1,表示專家評委,judge_type[i] == 2,表示福士評委,n表示評委總數。打分規則如下:專家評委和福士評委的分數先分別取一個平均分(平均分取整),然後,總分 = 專家評委平均分 * 0.6 + 福士評委 * 0.4,總分取整。如果沒有福士評委,則 總分 =
Time of Update: 2018-12-03
1.四則混合運算input=“1+4*5-8/3”,output=19#include <iostream>#include <stack>using namespace std;//不帶括弧的四則運算,如果帶括弧,操作符的優先順序就有'='//比較兩個操作符的優先順序char optCompare(char a,char b){if(a=='+' || a=='-'){if(b=='+' || b=='-'){return '>';}else{return '&
Time of Update: 2018-12-03
1.用haddop提供的C API to HDFS來實現檔案寫入到HDFS中。過程中主要是在配置環境花了點時間參考官網:http://hadoop.apache.org/common/docs/r0.20.0/libhdfs.htmlAPI主要可以去hadoop軟體包解壓目錄中查看hdfs.h定義的一些已實現的函數一門語言的初學入門例子,一般都是“hello,world”,下面看寫hdfs檔案代碼:#include "hdfs.h" int main(int argc, char **argv)
Time of Update: 2018-12-03
Nutch中內建對搜尋結果的聚類,使用開源的Carrot2,以外掛程式形式被調用,大概看了一下nutch關於clustering這一塊的搜尋源碼,它會顯示出URL和title,可是用mahout做文本聚類的話,最後的聚類結果中,只有向量,
Time of Update: 2018-12-03
有500多個csv檔案,想匯入SQL資料庫內,資料庫欄位與檔案欄位是一樣的, 如何寫大量匯入語句。 DECLARE @dir sysname,@cmd nvarchar(max);SET @dir = 'C:/';CREATE TABLE #tmp(filename nvarchar(1024));SET @cmd = N'dir "' + @dir + '*.csv" /B'INSERT #tmp EXEC master.dbo.xp_cmdshell @cmd;DELETE #tmp
Time of Update: 2018-12-03
因為C語言所有複雜的指標聲明,都是由各種聲明嵌套構成的。如何解讀複雜指標聲明呢?右左法則是一個既著名又常用的方法。不過,右左法則其實並不是 C標準裡面的內容,它是從C標準的聲明規定中歸納出來的方法。C標準的聲明規則,是用來解決如何建立聲明的,而右左法則是用來解決如何辯識一個聲明的,兩 者可以說是相反的。右左法則的英文原文是這樣說的:The right-left rule: Start reading the declaration from the innermost parentheses,
Time of Update: 2018-12-03
greenplum 實驗,動態增加節點1.我原有在hadoop4-hadoop6上初始化了一個greenplum的叢集2.所有的primary,mirror都啟動著,我串連master,在兩個表裡插入記錄:aligputf8=# insert into pg_catalog.pg_filespace_entry values(3052,15,'/home/gpadmin1/cxf/gpdata/gpdb_p1/gp6');INSERT 0 1aligputf8=# insert into pg_
Time of Update: 2018-12-03
這兩天一直糾結是用lucene來做搜尋應用,還是用solr來做搜尋應用。lucene只提供一個可查詢的包,用它來實現搜尋的好處是,應用需要什麼,我就用它提供的相應功能即可。而solr本身就是基於lucene的應用,對lucene又做了封裝,這就相當於是在第二層基礎之上開發,所以要改它是需要花時間的。但solr提供了很多lucene沒有的功能,不管了,老師說要用solr,那就用solr吧lucene和solr的對比:1.http://www.blogjava.net/luopeizhong/art
Time of Update: 2018-12-03
greenplum是一個分散式資料庫,底下有很多的postgresql的資料庫,我們有時候需要知道底層節點在幹些什麼,能否直接在master上有一個視圖,或者sql,可以看到底下每個節點的sql,並且可以標識出是哪一個機器,哪一個連接埠的資料庫,下面介紹方法:3.3跟4.0的架構有所改變,所以方法也不一樣。1.建立v_active_sql視圖方便查看sql:CREATE VIEW v_active_sql ASSELECT pg_stat_activity.procpid,
Time of Update: 2018-12-03
我發現一直理解錯了,我一直以為分布式索引和分布式搜尋是兩個不同的事情,其實是一樣的.把索引分布在多台電腦上,不就是正好實現了分布式搜尋嗎?既然索引已經分布式儲存了,,因為搜尋就是基於索引的,那搜尋就自然是分布式的啦。.前面看網上一些理解,一直以為分布式索 引和分布式搜尋是兩個獨立分開的過程,不知道理解的對不對? 調研了一下,發現索引檔案的資料結構相當複雜,這個好像是每提交一次建索引,就會將以前已產生的索引重新組織,而且還會產生新檔案,所以如果採用在HDFS中追加寫索引檔案,那工作量將相當大,必
Time of Update: 2018-12-03
這篇部落客要討論如何進行有效時間管理、如何培養良好的習慣,如果感興趣,請繼續往下讀,相信你能從中收穫到很多。 寫這篇文章主要因為下面這幾個小故事: 1. 暑假的時候在百度實習,緊張的節奏,良好的技術氛圍的讓我非常興奮。但在工作了一段時間後,發現自己老是有做不完的事情,只能一直在公司,晚上很晚才能回去。女朋友也經常抱怨不給她打電話。之前還覺得她不理解自己,自己工作這麼認真怎麼不知道體貼呢。
Time of Update: 2018-12-03
如何通過下面源表的資料查詢得到目標表的資料?源表: 批次 編號 1 1000 1 1001 2 1000 3 1001 4 1000 5 1000 目標表: 編號 起始批次 結束批次 1000 1 2 1001 1 1 1001 3 3 1000 4 5/*----------------------------------- Author : htl258(Tony)--
Time of Update: 2018-12-03
因為要用到雲端運算下的資料採礦,所以就簡單看了一下mahout配置,mahout是一個基於Map/Reduce的機器學習演算法庫,運行在hadoop叢集上廢話不多說,下面看配置過程1.到mahout官網上下載mahout-distribution-0.4.tar.gz,這個是已經編譯好的包,如果下的是源碼包,則需要安裝maven來編譯2.前面已經搭過hadoop,這裡不再說,下面設定環境變數,sudo vi /etc/profile(關於ubuntu環境變數,請看參考) export
Time of Update: 2018-12-03
1.hadoop入門篇,包括軟體下載及配置,並保證單機和偽分布模式可以運行通過,請看hadoop官網 2.叢集搭建筆者在hadoop叢集搭建中,走了很多彎路,希望大家莫犯同樣的錯誤(a)ssh免密碼登陸剛開始ssh localhost 都要求輸入密碼,後來在masters機器上,將.ssh目錄許可權設為500,authroized_keys設為600才好ubuntu目錄許可權修改 ssh-keygen 產生出 id_rsa, id_rsa.pub, 已經都放到正確位置(.ssh),
Time of Update: 2018-12-03
開源系統 首頁:http://code.google.com/p/tmsvm/文本挖掘無論在學術界還是在工業界都有很廣泛的應用情境。而文本分類是文本挖掘中一個非常重要的手段與技術。現有的分類技術都已經非常成熟,SVM、KNN、Decision
Time of Update: 2018-12-03
使用ant編譯hive需要的工具:ant 具體安裝,請自己在網上尋找1.使用svn檢出hive的原始碼: svn地址:http://svn.apache.org/repos/asf/hadoop/hive/trunk