首頁 > 雲端運算 > 雲資訊

使用Apache Hadoop、Impala和MySQL進行資料分析

來源：互聯網
上載者：User
關鍵字 示例 所有 可以 dfs
創建阿里雲帳戶，並獲得超過 40 款產品的免費試用版；而企業帳戶則可以享有總值 $1200 的免費試用版。立即註冊！

HTTP://www.aliyun.com/zixun/aggregation/14417.html">Apache Hadoop是目前被大家廣泛使用的資料分析平臺，它可靠、高效、可伸縮。 Percona公司的Alexander Rubin 最近發表了一篇博客文章介紹了他是如何將一個表從MySQL匯出到Hadoop然後將資料載入到Cloudera Impala並在這上面運行報告的。 在Alexander Rubin的這個測試示例中他使用的集群包含6個數據節點。 下面是具體的規格：

資料匯出有很多方法可以將資料從MySQL匯出到Hadoop。 在Rubin的這個示例中，他簡單地將ontime表匯出到了一個文字檔中：select * into outfile '/tmp/ontime.psv'

FIELDS TERMINATED BY ','

from ontime;你可以使用「|」 或者任何其他的符號作為分隔符號。 當然，還可以使用下面這段簡單的腳本直接從www.transtats.bts.gov上下載資料。

載入Hadoop HDFS

Rubin首先將資料載入到了HDFS中作為一組檔。 Hive或者Impala將會使用導入資料的那個目錄，連接該目錄下的所有檔。 在Rubin的示例中，他在HDFS上創建了/data/ontime/目錄，然後將本地所有匹配On_Time_On_Time_Performance_*.csv模式的檔案複製到了該目錄下。

在Impala中創建外部表

當所有資料檔案都被載入之後接下來需要創建一個外部表：

本文章原先以中文撰寫並發佈於 aliyun.com，亦設英文版本，僅作資訊用途。本網站不對文章的準確性，完整性或可靠性或其任何翻譯作出任何明示或暗示的陳述或保證。如對該文章有任何疑慮或投訴，請傳送電郵至 info-contact@alibabacloud.com 並提供相關疑慮或投訴的詳細說明。職員會於 5 個工作天內與您聯絡，一經驗證之後，即會刪除該侵權內容。

相關關鍵詞：
apache spark vs hadoop hadoop apache tutorial hadoop tutorial apache hadoop apache download apache hadoop installation installing apache hadoop apache hadoop big data
相關文章
基於資源編排和 Ansible 在 VPC 下快速交付套用
基於資源編排和 Ansible 在經典網路下快速交付套用
基於資源編排在經典網路環境下快速部署高可用Dubbox服務（Redis版）
基於資源編排在專有網路環境下快速部署高可用Dubbox服務（Redis版）
基於資源編排在專有網路環境下快速部署高可用Dubbox服務（ZooKeeper版）
利用ROS搭建套用基礎套件

聯繫我們

該頁面正文內容均來源於網絡整理，並不代表阿里雲官方的觀點，該頁面所提到的產品和服務也與阿里云無關，如果該頁面內容對您造成了困擾，歡迎寫郵件給我們，收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容，歡迎發送郵件至： info-contact@alibabacloud.com 進行舉報並提供相關證據，工作人員會在 5 個工作天內聯絡您，一經查實，本站將立刻刪除涉嫌侵權內容。

熱門文章

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

Get Started for Free

  • Sales Support

    1 on 1 presale consultation

    Chat Contact Sales

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

    Open a Ticket

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.

    Learn More