kafka無法發送訊息問題處理

標籤：kafka

背景在伺服器上搭建了一個單機環境的kafka broker，在伺服器上使用命令生產訊息時，一切正常。當在本地使用JAVA程式發送訊息時，一直出錯。拋出的錯誤為：

Exception in thread "main" Failed to send requests for topics test with correlation ids in [0,12]kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.

問題追蹤最初懷疑是防火牆限制了連接埠，因此在本地使用telnet串連伺服器連接埠，發現無法串連，因此關閉伺服器防火牆。重試，還是拋同樣的問題。後來查看kafka日誌，發現TCP串連可以正常關閉，而且IP也是用戶端的IP，證明網路沒問題，用戶端確實可以連上kafka伺服器。那到底是什麼問題呢？通過查看kafka配置，發現有個屬性：advertised.host.name。官方文檔裡的備忘資訊表明，該欄位的值是生產者和消費者使用的。如果沒有設定，則會取host.name的值，預設情況下，該值為localhost。思考一下，如果生產者拿到localhost這個值，只往本地發訊息，必然會報錯（因為本地沒有kafka伺服器）。問題處理將advertised.host.name設定為伺服器IP地址，經測試，訊息順利發送。總結其實，在生產者的日誌中，也看到先串連kafka伺服器，然後關閉；然後又串連了本地，再關閉。

Connected to 192.168.56.101:9092 for producingDisconnecting from 192.168.56.101:9092Connected to localhost:9092 for producingDisconnecting from localhost:9092

但是因為不瞭解kafka的配置資訊，所以也沒仔細分析。
另外，在配置生產者時，metadata.broker.list會設定成kafka伺服器的IP和地址。但這個只是擷取一些元資訊，後續發送訊息時會根據擷取的元資訊來發送，而擷取得元資訊中，由於advertised.host.name被預設為localhost，所以本地當然會把訊息發到本地，結果導致問題出現。

著作權聲明：本文為博主原創文章，未經博主允許不得轉載。

kafka無法發送訊息問題處理