Jon Gifford談雲計算與日誌管理、搜索應用的結合

本技術播客（Podcast）由充滿技術熱情和好奇心的 Andrew Glover 來主持，他將會為您帶來更多您會關係，且同時在業界也十分熱門的內容和主題。

Loggly 服務網站的 CTO Jon Gifford 和 Andy 探討了日誌即服務（logging as a service）的概念以及它對日誌管理和操縱的説明。 瞭解如何對如此之大的系統進行即時的控制和管理是一件十分HTTP://www.aliyun.com/zixun/aggregation/7239.html">有趣的事情。 同時，您會瞭解 Loggly 運營的細節、不同于其他服務和產品的地方以及它的未來發展方向。

Jon Gifford 是 Loggly 的 CTO 和首席架構師。 很長一段時間，Jon 主要負責為很多公司編寫和 Lucene 有關的代碼。 Jon 和他的合作夥伴目前在三藩市進行創業。

下面我們來看看Andrew Glover採訪Jon Gifford的訪談內容：

GLOVER:我是 Andy Glover，這裡是 developerWorks 播客的 JAVA技術系列。 本期嘉賓是 Jon Gifford。 他是 Loggly的首席技術官和聯合創始人。 Jon，我覺得，從剛才詢問您什麼是 Loggly時，我們的談話就已經開始了。

GIFFORD: Loggly是一個日誌即服務系統。 我們做的就是這個。 每個人都有日誌。 日誌無處不在。 它們存在於您所擁有的每台機器上。 它們包含了一些有價值的資料，也包含了一些不太有價值的資料。 並且管理它們實在是一種痛苦。

所以，基本上，我們的產品是一種讓您更好更簡單地管理日誌的方式，它提供一些工具，讓您可以使用它們完成無法通過其他方式完成的事情。

所以，基本上您可以將我們看作一個這樣的地方，它可以放置所有系統和事件中的所有日誌，甚至，您還可以直接通過我們跟蹤瀏覽器事件以及諸如此類的事情。 所以這真的是...... 我們真的就是天空中的一個大日誌傾卸場。

GLOVER:在天空中，是的。 讓我再問一個問題。 所以，日誌和輸出兩種日誌的應用程式已經遍佈全球，只要有電腦的地方就有它們。

GIFFORD: 是的。

GLOVER:但是，你們相對比較新。 那麼，是什麼使你們突然決定，好吧，讓我們組建一家公司來解決這個問題。 為什麼這個問題在之前沒有解決呢？

GIFFORD: 我認為這個問題已經解決了。 市場上有一大堆公司。 在為您解決這個問題的公司中， Splunk 可能是最有名的。 我們想要做的是嘗試 ... 嘗試構建一個非常便於使用的系統，其中不會出現現有系統使用中的各種管理和讓人頭痛的問題。 所以這就是我們在雲中的原因。 這就是為什麼我們是一個服務，而不是一個下載的軟體或設備 ......

GLOVER:好。

GIFFORD: ... 這些也是解決這個問題的常見方法。 但就我個人而言，真正促使我去做這件事的原因是，我專門從事搜索的工作已經有好長一段時間了；大約將近 15年。 並且處理過各種大型系統，高端多達約 900 台機器，而在低端，對於有效的產品而言，實際上 Loggly可能是我在生產環境中使用過的最小的產品，它適用于 15到 20台機器。 所以當您在處理那麼多機器時，無論是在雲中還是在您自己的「 colo」[或「coloc」；colocation center... 編者注。 ]中，您都需要知道發生了什麼事情。 所以我一直做的這件事最終似乎是為自己編寫這個系統，以監視所有的這些箱子，並驅動儀表板和您要做的所有其他事情，從而確保您作為開發人員可以保持理智，或者如果您有操作人員的話，使他們保持理智。

所以，對我來說，這其實就像，我有這個心病，也在其他一些工作中思考了很多次，它只是好像，您知道，如果我這一次能做好，我就不必再做這件事了。

GLOVER:就是這樣。

GIFFORD: 所以，從某個角度來說，我想這是因為我比較懶。

GLOVER:這不正是我們作為開發人員的定義嗎？ 我們懶惰？ [大笑]

GIFFORD: 對。 正是。 所以，關於我們正在做的事情，單純從技術角度來看，讓我覺得有趣的另一件事情是，它是一個相當複雜的分散式系統，我喜歡從事這些系統的工作。 我們使用我們自己的系統 ...... 或者說，我們記錄我們自己的系統，也記錄它自己。 [大笑]

實際上，為檢查我們的生產伺服器的狀態，我們需要去查看一個 Loggly 實例，所有生產實例的所有日誌都來到這個實例中。 實際上，我們將它作為一個單獨的實例來運行，這在以前看來有點異常。 但基本上，在我們剛開始時，代碼並不是像以前那麼穩定，我想這一點不用說您都知道。 [大笑]

如果有東西在我們其中一個箱子中失敗了，我們偶爾會在生產中剔除它。 我們會將它移動到它自己的實例，然後一切都變得正常。 因此，構建高度可擴展的系統是一種非常有趣的技術挑戰。 我想我必須說，我特別愛將搜索作為一種研究資料的方式。

GLOVER:是。

GIFFORD: 我想，我之前構建的很多像這樣的系統已經有點側重于度量。 這太好了。 它告訴了我各項任務的執行情況。 但在出現問題時，它並不一定能給我很大的説明，實際上我想找出是什麼引起問題的時候。

而且我認為搜索對於解決這一問題也是一種特別強大的方法。 所以每次利用 grep 和 awk，以及所有那些神奇的 ... Perl 和 Python，還有 Ruby 和所有那些神奇的東西，您可以使用它們從文本中提取資訊。 但我認為，在某些方面，我認為只是單純的赤裸裸的搜索有很多好處，這些好處是您使用所有那些其他東西無法得到的。

GLOVER:我想提個問題，其實我想到了兩個問題。 希望我會記得住它們。 第一個是，您提到過，它在雲中是日誌即服務。

GIFFORD:是的。

GLOVER:那麼作為一個開發人員，這對於我來說意味著什麼呢？ 我如何利用 Loggly？ 它如何工作？

GIFFORD: 好。 基本上，我們有幾種不同的方式使資料進入系統。 如果您是一個開發人員，您希望給我們發送資料，那麼您可以使用 Syslog，對於大多數人，至少大多數 UNIX開發人員則是 Syslog Appender。 它是非常簡單的協定，例如，您可以在 JAVA上執行它，您可以用一個 Syslog Appender 來執行它。

在其他語言中，還有直接記錄到 Syslog的其他方式。 如果您準備這樣做，您只需要在您想記錄的箱子上設置您的 Syslog Appender，並將日誌轉發給我們。 這相當簡單，並且是解決該問題的一種非常非常輕量的方式。

GLOVER:當您說 Syslog Appender時，我是說，這就像是 log4j，對嗎？ 我只需要配置 log4j？

GIFFORD: Log4j。 是。

GLOVER:沒錯。 這是適用于 99% 的現有 JAVA應用程式的通用日誌庫。 [大笑]

GIFFORD: 沒錯。