HBase源碼分析之org.apache.hadoop.hbase.regionserver包

1、Splitpolicy是Region在滿足什麼條件下,需要split操作,0.94版本中預設是IncreasingToUpperBoundRegionSplitPolicy1)ConstantSizeRegionSplitPolicy,2)KeyPrefixRegionSplitPolicy,3)RegionSplitPolicy,可以在設定檔中指定policy的實現hbase.regionserver.region.split.policy,預設是IncreasingToUpperBoun

基於0.94版本改動client端源碼支援HBase分頁

 平台中有一個情境是要做使用者曆史訂單資料的查詢,並且需要支援分頁。HBase中目前只支援rowkey一級索引,對二級索引還不太支援,我在以前的blog中提出了一種基於solr+hbase的解決方案

關於HBase MVCC的設計原理以及MVCC所引起的一個scan問題

最近在使用HBase0.94版本的時,偶爾會出現,HRegionInfo was null or empty in Meta 的警告java.io.IOException: HRegionInfo was null or empty in Meta for writetest, row=lot_let,9399239430349923234234,99999999999999at

結合源碼淺析solr facet

    SearchHandler實現SolrRequestHandler,SolrCoreAware(inform介面),在SolrCore初始化的過程中,會依次調用SolrRequestHandler中的inform(SolrCore

關係型資料庫的主備的一致性問題

對於資料庫的主備切換的一致性問題大致有以下幾種方式:a、叢集方式,如oracle的rack,缺點是比較複雜b、共用SAN儲存方式,相關的資料檔案和記錄檔都放在共用儲存上,優點是主備切換時資料保持一致,不會丟失,但由於備機有一段時間的拉起,會有短暫的不可用狀態c、主備進行資料同步的方式,常見的是日誌的同步,可以保障熱備,即時性好,但是切換時,可能有部分資料沒有同步過來,帶來了資料的一致性問題。     

結合源碼分析Solr&Lucene查詢打分的工作流程

solr中的搜尋打分是在QueryComponent中進行的。在prepare中根據查詢的參數,QueryParser對查詢語句進行分詞,並產生Query對象樹。      QParser parser = QParser.getParser(rb.getQueryString(), defType, req);      Query q = parser.getQuery();      if (q == null) {        // normalize a null query to

solr的相關操作(addDocument,flush,commit,rollback,optimize,close)解析

在solr中通常包含以下一些操作,包括顯式的和隱式的操作1、addDocument,對文檔進行分析,分詞處理,建立索引段segment,每當flush緩衝區中增加的文檔,索引檔案都會建立一個段segment。2、commit,除了向Directory對象提交索引變化,搜尋器query的重建立立commit提交後,索引flush到硬碟上,並觸發listener,創造新的insexSearcher(新的insexReader,從硬碟中載入索引),這樣後續的查詢就用新的insexsearcher了。在

改變,成長的過程需要改變

成長的過程需要改變!現在感覺,每天大部分的時間都浪費掉了。到新公司三個月了,基本上從來沒有充實的感覺!特別是最近,一直在打醬油。天天得過且過的,不思進取,沒有一點兒進步。哎,以後怎麼辦啊?要改變……今天特別確定一件事情,就是一直以來都沒有對問題進行深入的思考,遇到問題的時候首先總會認為太難了,覺得以目前的能力解決不了。但是問題解決了之後,也沒有把好的方法和思維方式記錄下來,所以一直都缺乏自信。原因就在這裡。以後要慢慢改正!每天堅持寫日記的習慣,不知不覺就斷了……

Solr原始碼閱讀分析之watcher機制

    用戶端ClientWatchManager,管理由ClientXncn產生的watchers和handle events在zookeeper的exists、getChildren、getData等這些API中可以註冊watcher對象到ClientWatchManager中,create、setData、delete等這些引起zookeeper節點變化的API會觸發watcher process的執行。     服務端WatchManager,服務端的watcher對象管理器;  

zookeeper源碼閱讀分析筆記–用戶端服務端通訊機制以及session逾時、到期處理

    這兩天看了一下zookeeper的相關的源碼,版本基於3.4.5,代碼結構還是比較清晰的;這裡重點分析一下zookeeper client和server端之間的通訊以及相關的異常處理機制。   1、用戶端 

solr分布式搜尋源碼分析

      分布式搜尋的主控邏輯是在SearchHandler.handleRequestBody方法中實現的,參見distributed

ora-02437錯誤解決方案總結

ORA-02437錯誤:建立表示沒有添加主鍵,當表中存在很多重複資料時,此時再添加主鍵就會報這個錯誤。所以,設計表的時候一定要注意!下面是這個錯誤的解決辦法,先找出表中重複的資料,然後刪除相同資料rowid最小的那一列select * from material_tablewhere unid in (select   unid from material_table group by unid having count(unid) > 1)########################

修改Tomcat,添加URLEncoding時報錯解決辦法

以前使用的Tomcat的版本是6.0.26,換成了新版本6.0.36。按照以前的設定,在server.xml檔案中添加URLEncoding="GBK"時,啟動後報錯了。報錯資訊如下:2012-12-13 9:09:33 org.apache.catalina.startup.SetAllPropertiesRule begin警告: [SetAllPropertiesRule]{Server/Service/Connector} Setting property 'URLEncoding'

倍感焦慮,尋找工作

  我的大學生活馬上就要走到頭了,還有一個月的時間就考試了,結束了,就意味著畢業了……  這段時間一直在找工作,去了一家,折騰了幾天也沒弄好,回來後累壞了。  同學們都走了,上課的時候只有幾個人了,很冷清的感覺  招聘會也參加了,沒有對口的工作,應聘了一個銷售的公司,已經打電話讓考試結束後過去,但是還有很多的顧慮! 

BASE64Encoder()和BASE64Decoder()

有一個base64的加密解密方法import sun.misc.*;public class byteToInt {public static void main(String args[]){String num = "iIDWAAE*";//double numDou = Double.parseDouble(num);//Double numDOU = Double.valueOf(num);byte[] numChar = num.getBytes();num = getBASE64("

前端工程師必須掌握的知識點

作為一名前端工程師,無論工作年頭長短都應該必須掌握的知識點有:1、DOM結構 —— 兩個節點之間可能存在哪些關係以及如何在節點之間任意移動。2、DOM操作 ——如何添加、移除、移動、複製、建立和尋找節點等。3、事件 —— 如何使用事件,以及IE和標準DOM事件模型之間存在的差別。4、XMLHttpRequest —— 這是什麼、怎樣完整地執行一次GET請求、怎樣檢測錯誤。5、strict 模式與混雜模式 —— 如何觸發這兩種模式,區分它們有何意義。6、盒模型 ——

他山之石,可以攻玉(一)

 -------澄識-------------------1、項目要當做產品做。要多想。產品是有延續性的。做項目時要考慮將來的延續,橫向的通用性。並不是所有的業務系統都要一個模式,項目整個代碼拷過來改改就行。把通用的東西抽出來,做成架構,有一定的規範限制,把具體的交給實現人去做。每個項目或日常都這樣想想,都做一些重構,一年下來,也有不少收穫。2、業務部門做純技術有困難,而且純技術到最後,都是演算法,沒有很好的數學功底不行。如果想把某一門技術磚得很深,工作上需要有實踐的機會,需要對該技術的很 多情

也許這隻是個美好的開始,結束的卻也燦爛

  20120625剛剛入職新的公司,做java開發,第一星期接到的任務是:添加簡訊發送功能,一點思路沒有。  不停地看API看項目的原始碼,看了很久,大致明白的簡訊機傳送簡訊的原理,只需要往發送隊列的表中插入一條資料就可以了。  在後來的時間裡,把主要的精力都放在了如何在也頁面擷取下個節點的資訊上,但是方向是錯的,這個頁面四xsl解析xml檔案顯示的,頁面上的添加刪除按鈕都是寫在xsl檔案裡的js,在js裡添加了alert都沒反映,所以想在頁面擷取資訊是不正確的。 

網頁資料抓取——使用jsoup

今天有家公司發了一道題目過來,需求是1.       要求索引系統能夠根據演員名字、電視劇名字、關鍵字、導演、拍攝時間等資訊給出索引結果;2.       從資料來源抓取資料建立資料索引系統,請描述該如何建,你會採用什麼樣的處理方法;3.       從奇藝網選擇一個網頁,用java寫一個解析器,可以用第三方工具包,解析該網頁,把建立資料庫需要的資訊抓取出來。於是我就想,使用一個抓取工具,把 [視頻名稱,發行年度,導演名稱,主演名稱,製片人的名字,編劇的名字以及該電影的類型(例如懸疑或者言情等)

兩個小錯誤

20120712發生的兩個錯誤,第一個是在啟動Tomcat是報的錯誤,第二個是寫了一個Heloworld測試類別,運行時報的錯。當時的情況如下:需要二次開發一個比較老的項目,環境是jdk1.4,Tomcat5.0,一開始部署的時候不知道Tomcat的版本具體是多少,所以就用了Tomcat5.5的版本。當啟動伺服器的時候,就報了這個錯誤。點擊顯示相關頁面,跳到了Tomcat的配置頁面,當時我的配置是沒錯的,路徑都是對的,我就很納悶,錯誤出子啊哪裡?上網搜了一下,才知道Tomcat5.5對應的JDK

總頁數: 61357 1 .... 12719 12720 12721 12722 12723 .... 61357 Go to: 前往

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.