英特爾開啟大資料智慧時代

【IT168專稿】隨著不斷增加的大資料解決方案需求，Apache Hadoop已經迅速成為存儲和處理海量結構化和非結構化資料的首選平臺之一。 企業只需在少量基於英特爾® 至強® 處理器的伺服器上部署這種開源軟體框架，就可用較低的成本迅速開始進行大資料分析。 隨後可逐步將其 Apache Hadoop 集群擴展到數百乃至數千個節點，從而將多 PB 資料的查詢回應時間縮短到次秒級。

英特爾與 Apache Hadoop 社區開展協作，支援系統管理員盡可能地實現其 Apache Hadoop 集群的最高性能——同時保證複雜度處於最低限度。 英特爾開發了 HiTune 性能分析器和 HiBench 基準測試套件，用它們來降低 Apache Hadoop 性能調優的複雜性，使用者可以在更短的時間內更有信心地設計和實現 Apache Hadoop 解決方案。

HiTune 性能分析器

Apache Hadoop 的主要優勢之一就是比傳統資料倉儲更容易部署和使用。 然而，由於分散式環境的硬體與軟體之間存在複雜的交互，因此要優化 Apache Hadoop 集群和工作負載以提高性能會面臨重重挑戰。 為了應對這樣的挑戰，英特爾開發了 HiTune，為開發人員提供了開發高度可伸縮型應用程式的簡單工具。 這種可伸縮、羽量級、可擴展的性能分析器可以説明您向客戶交付性能更高的 Apache Hadoop 集群和應用程式。 此外，還可以説明您的客戶在其集群的整個生命週期內獲得更高的價值。

典型的 Apache Hadoop 查詢是使用直觀、高級的資料流程模型編寫的。 這對於程式師而言非常理想，因為資料分區、任務分發、負載平衡、容錯和節點通信等所有繁雜的細節都由 Apache Hadoop 運行時環境來處理。 然而，隱藏這種低級複雜性也會導致性能調優成為一項繁瑣的挑戰。 因為工程師對於硬體與軟體之間的低級交互知之甚少，甚至毫不知曉，而這種認識卻是理解和優化性能所必不可少的前提。 工程師們通常只能依靠漫長而又耗時的試錯法，而結果往往也只是能得到次優的性能。

HiTune 將監視 Apache Hadoop 集群中各伺服器的關鍵性能指標，隨後匯總這些低級指標，將這些指標與高級資料流程模型相關聯。 這樣工程師就可以獲得不同任務與階段之間動態交互的深入瞭解，並迅速查明拖慢性能的性能瓶頸、應用程式熱點和硬體問題。

1、簡化和加速性能調優。 HiTune 提供了詳盡的分析和視覺化，對正在運行的應用程式的性能影響微不足道，而且無需修改原始程式碼。 英特爾工程師廣泛利用這種工具，在很多情況下，僅憑相對簡單的硬體或軟體調整就實現了高達六倍的性能收益。

2、跨數千台伺服器擴展分析。 HiTune 可用於分析生產環境中跨數千台伺服器運行、包含數十萬個同步進程的應用程式。 HiTune分析引擎可作為一個 Apache Hadoop 作業來運行，支援通過大規模並存執行海量效能資料的快速分析。 工程師不需要分析在一個集群的某個部分上運行的部分應用程式，而是可以收集和分析完整的信心，獲得更有用的洞察。

3、逐漸獲得更高的價值。 英特爾將繼續為 Apache Hadoop 和其他分散式大資料解決方案擴展並優化 HiTune。 英特爾已經利用 HiTune 調優和優化了 Apache Hive 的性能，Apache Hive 是基於 Apache Hadoop 構建的開源資料倉儲。 您現在積累的調優專業經驗會在未來交付更高的價值。

HiBench 基準測試套件

隨著市場的發展，隨著客戶開始以接近即時的方式利用大資料洞察力來提高收入流、盈利能力和經營效率，優化和驗證 Apache Hadoop 集群的性能變得更加重要。 利用 HiBench 基準測試套件，您可以跨不同的工作負載準確而又一致地度量、驗證和對比 Apache Hadoop 集群的性能，為客戶提供更出色的資訊和信心。

HiBench 提供了對 10 種便於使用的 Apache Hadoop 工作負載的便捷訪問，這些工作負載經過擴展、配置和定制，能夠反映典型的部署。 您可以為特定的通用任務度量性能，例如排序和文字計數，或者為更加複雜的實際應用度量性能，這些應用包括 Web 搜索、機器學習和資料分析。 不同的工作負載具有不同的特徵，使您能夠建立測試矩陣，體現特定環境的資源需求。

英特爾將繼續擴展和改進 HiBench，還會與領先供應商和標準實體聯手協作，開發針對 Apache Hadoop 的行業標準性能基準測試。 建立這些基準測試之後，您就具備了理解架構問題、度量和驗證 Apache Hadoop 解決方案性能的更好基礎。

構建一個經過驗證的基礎

設計全面優化的 Apache Hadoop 集群需要深入理解整個解決方案體系。 可能要投入數月的時間來探索 Apache Hadoop 工作負載特徵，並瞭解如何與底層硬體和軟體交互。 還可以利用英特爾多年來與目前運行某些全球規模最大、最成功的 Apache Hadoop 實現的企業之間共同研究和協同使用所得到的專業經驗，這些企業包括 Google、Yahoo! 和某些頂尖的電信與金融服務企業。

英特爾將這種專業經驗構造成為參考架構、調優指南和最佳實踐建議，可以將它們用作設計和部署 Apache Hadoop 集群的起點。 利用從硬體規範直至完整軟體架構的明確指南，可以更迅速、更經濟地設計、構建和配置最適宜的解決方案。

還可以在多種領先 Apache Hadoop 發佈版中任意選擇，所有這些發佈版均已針對英特爾至強處理器而高度優化。 英特爾與 Cloudera、Hortonworks、IBM 和其他商業轉銷商合作，確保運用的是已專門針對企業環境中的生產就緒性而進行擴展、加強和測試的軟體，在英特爾架構上實現最優性能。