Kafka實現細節(上)

如果你第一次看kafka的文章,請先看《分布式訊息系統kafka初步》之前有人問kafka和一般的MQ之間的區別,這個問題挺難回答,我覺得不如從kafka的實現原理來分析更為透徹,這篇將依據官網上給出的design來詳細的分析,kafka是如何?其高效能、高吞吐的。這一段應該會挺長的我想分兩篇來寫。今天這一篇主要從宏觀上說kafka實現的細節,下一篇,在從具體的技術上去分析。我們先看kafka的設計項目:1. 通常來說,kafka的使用是為了訊息的持久化(persistent messages)

封閉開發日誌

封閉開發日誌                        

資料採礦方面的資源、期刊、會議的網址集合

JournalsACM TKDD    http://tkdd.cs.uiuc.edu/DMKD    http://www.springerlink.com/content/1573-756X/?p=859c3e83455d41679ef1be783e923d1d&pi=0IEEE TKDE    http://www.ieee.org/organizations/pubs/transactions/tkde.htmACM TODS  

閑聊SEDA分段式事件驅動架構

SEDA是10年前提出的一個理論目的是實現高效能的網路伺服器由7篇論文和一個參考實現的庫組成都在這裡

[開源架構推薦]VTD-XML:世界上最快的XML處理架構

DOM方式是直接把xml檔案全部載入到記憶體,然後建立dom樹,特點:可讀可寫,支援XPath,但是非常慢,佔用記憶體為xml的10倍數量級,無法處理大檔案。SAX方式則是事件通知機制,一點點的處理xml,每分析一個節點,調用使用者自己實現的處理邏輯,特點:非常快,幾乎不佔用記憶體,只能讀,並且只能讀一次,不能讀取指定內容也不能重複讀,API也比dom難用的多。VTD-XML則相容了這兩個xml處理技術的優勢,其先按二進位方式掃描一遍xml檔案,針對所有的節點做一個二進位索引,這個需要的記憶體量

單獨部署activemq-web-console

activemq-web-console的預設使用方式是通過在activemq.xml中匯入jetty.xml配置一個jetty

ActiveMQ vs AMQP

http://activemq.apache.org/how-does-activemq-compare-to-amqp.html AMQP(Advanced Message Queue Protocol)是一個訊息client和broker互動的規範。是一個關於client到訊息broker的wire-level協議通訊的規範。不像ActiveMQ一樣是一個訊息系統,而僅僅是一個訊息協議。 ActiveMQ的目標是最終會支援AMQP

影響ActiveMQ效能的幾個重要因素

影響ActiveMQ效能的幾個重要因素  Queue1、Send/dispatch Async 影響非常大     同步非同步發送和投遞,都非常影響輸送量。另外,SystemUsage和PFC流控對同步發送有直接影響。2、Not transacted 去掉了記錄redo日誌3、Auto_ACK/Optim_ACK 最佳化確認     減少互動次數4、Non-persistence 持久化訊息,跟下面幾點有關    持久化和非持久化,也是數量級的影響,畢竟為了提高可靠性,使用資料庫或檔案來存訊息,

成也鳳鳴,敗也鳳鳴

《見龍卸甲》是一部導演個人風格很強烈的電影,看完去查編劇,果然也是李仁港。    這部電影除了人名外,無論和《三國志》和《三國演義》都沒有特別大的關係,只是大致引用些許情節。三國時代只是個盛故事的盒子,事實上即使完全模糊曆史背景,對導演要表達的意圖也不會有太多減損。那些對電影有些微詞的觀眾,我想,很多是在觀看前就已經有趙雲形象和對那段曆史的模糊設想,只是想看電影怎麼具體表現出來,從而產生了種種觀影效果的差異。  

ActiveMQ隊列特性:組合隊列(Composite Destinations)

組合隊列(Composite Destinations)當你想把同一個訊息一次發送到多個訊息佇列,那麼可以在用戶端使用組合隊列。// send to 3 queues as one logical operationQueue queue = new ActiveMQQueue("FOO.A,FOO.B,FOO.C");producer.send(queue, someMessage);當然,也可以混合使用隊列和主題,只需要使用首碼:queue:// 或 topic://// send to

[mule3doc]Mule3 user guide翻譯原則與術語

1.        公用術語(建議不翻譯,翻譯最後附加一份術語表)Flow   流Pattern 模式Service 服務Component 組件connector 連接器inbound 接入outbound 接出transport 傳輸器endpoint 端點router 路由filter  過濾器transformer 轉換器enricher 增強器splitter 分割器aggregator 彙總器processor 處理器validator 校正器proxy代理、agent

ActiveMQ隊列特性:刪除不活動的隊列(Delete Inactive Destinations)

刪除不活動的隊列(Delete Inactive Destinations)一般情況下,ActiveMQ的queue在不使用之後,可以通過web控制台或是JMX方式來刪除掉。當然,也可以通過配置,使得broker可以自動探測到無用的隊列(一定時間內為空白的隊列)並刪除掉,回收響應資源。配置如下: <broker xmlns="http://activemq.apache.org/schema/core"

Mule應用架構:1、關於mule

文章目錄 關於Mule應用部署 Mule應用架構kimmking2012-12-6本文介紹Mule結構上的特性,你可以使用它們構建你的Mule應用。l  關於Mulel  關於Mule執行單元l  關於流l  流架構l  子流l  流的配置l  進階用例 關於MuleMule

[開源架構推薦]pdf2htmlEX: 高保真PDF至HTML轉換

特點:單頁html,嵌入字型(高保真源於此),內嵌圖片,分頁顯示。其他類型的工具 icepdf,直接輸出成一頁一頁的圖片。pdf to html5 js: http://andreasgal.com/2011/06/15/pdf-js/pdf to html5:http://www.idrsolutions.com/pdf to html5 for .net: http://www.winnovative-software.com/------------------

分布式訊息系統Kafka初步

終於可以寫kafka的文章了,Mina的相關文章我已經做了索引,在我的部落格中置頂了,大家可以方便的找到。從這一篇開始分布式訊息系統的入門。在我們大量使用分散式資料庫、分散式運算叢集的時候,是否會遇到這樣的一些問題:l  我想分析一下使用者行為(pageviews),以便我能設計出更好的廣告位l  我想對使用者的搜尋關鍵詞進行統計,分析出當前的流行趨勢。這個很有意思,在經濟學上有個長裙理論,就是說,如果長裙的銷量高了,說明經濟不景氣了,因為姑娘們沒錢買各種絲襪了。l 

ActiveMQ隊列特性:配置啟動隊列(Configure Startup Destinations)

配置啟動隊列(Configure Startup Destinations)雖然ActiveMQ可以在使用的時候自動建立隊列,但有些情況下配置啟動時建立還是很有必要的:例如配置了安全設定以後使用隊列的使用者沒有建立的許可權。此時只需要在設定檔的broker節點添加需要啟動時建立的隊列即可:<beans xmlns="http://www.springframework.org/schema/beans"

SOA和EA的關係

  最近SOA炒得火熱,作為一種服務導向架構,頗受各大廠商推崇。EA領域經過20多年的發展,在IT系統日益複雜、投資回報較低的今天,也再次引起人們的關注。SOA 和EA作為架構有什麼異同呢?  簡單總結了一下IBM的網站上一篇文章《服務導向架構與企業體繫結構》,SOA和EA異同如下:1、體繫結構方面SOA 和 EA 體繫結構領域之間的映射體繫結構領域SOA 解決方案堆棧EA

ActiveMQ隊列特性:隊列選項(Destination options)

隊列選項(Destination options)隊列選項是給consumer在JMS規範之外添加的功能特性,通過在隊列名稱後面使用類似URL的文法添加多個選項。選項預設值描述consumer.prefetchSize不定consumer持有的未確認最大訊息數量 參見:prefetch。consumer.maximumPendingMessageLimit0控制非持久主題在慢消費(slow consumer)情況下丟棄訊息的最大數量。consumer.noLocalfalse consumer.

ActiveMQ訊息特性:訊息屬性

訊息屬性的說明:queue的訊息預設是持久化的訊息的優先順序預設是4訊息發送時設定了時間戳記訊息的到期時間預設是永不到期,到期的訊息進入DLQ,可以配置DLQ及其處理策略如果訊息時重發的,將會標記出來JMSReplyTo標識響應訊息發送到哪個queueJMSCorelationID標識此訊息相關聯的訊息id,可以用這個標識把多個訊息串連起來JMS同時也記錄了訊息重發的次數,預設是6次如果有一組關聯的訊息需要處理,可以分組:只需要設定訊息組的名字和這個訊息時第幾個訊息如果訊息中一個事務環境,則TX

ActiveMQ隊列特性:萬用字元(Wildcards)

萬用字元(Wildcards)一般情況下,我們使用階層的方式來組織隊列,比如A.B.C.D,這樣便于歸類和管理。我們也可以使用萬用字元來配置或是操作多個隊列。萬用字元有三個:.  用來分隔路徑* 用來匹配路徑中的一節> 用來匹配任意節的路徑訂閱資訊解釋PRICE.>Any price for any product on any exchangePRICE.STOCK.>Any price for a stock on any

總頁數: 61357 1 .... 16298 16299 16300 16301 16302 .... 61357 Go to: 前往

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.