首頁 > 熱門類別 > Big Data

大資料量資料最佳化一法

來源：互聯網
上載者：User
創建阿里雲帳戶，並獲得超過 40 款產品的免費試用版；而企業帳戶則可以享有總值 $1200 的免費試用版。立即註冊！
        前段時間公司有個項目需要從文字檔匯入資料,文字檔有5600個,匯入之後統計有98w多. 由於資料比較複雜,分析又比較麻煩,因此將檔案分段分塊存入到資料庫,結果一些中間狀態的資料高達1100w,導致查詢資料比較慢,因此考慮將這中間資料表拆成兩個:一個主要存放資料,一個存放查詢所用到的欄位.而這個兩個表用到的BlockID欄位來關聯.結果存放資料的表有700w條資料,而存放查詢的表有400w資料.經過測試,查詢資料快了不少,當然查詢條件欄位上都用了索引.
        只不過當時沒有把相應的資料記錄下來.那時都是用sql profile來監視
        同理,當資料量大的時候分成兩個資料庫也是個不錯的主意

本文章原先以中文撰寫並發佈於 aliyun.com，亦設英文版本，僅作資訊用途。本網站不對文章的準確性，完整性或可靠性或其任何翻譯作出任何明示或暗示的陳述或保證。如對該文章有任何疑慮或投訴，請傳送電郵至 info-contact@alibabacloud.com 並提供相關疑慮或投訴的詳細說明。職員會於 5 個工作天內與您聯絡，一經驗證之後，即會刪除該侵權內容。

相關文章
大資料<javaSE + Linux精英實訓班>_day_07
全球100款大資料工具匯總（前50款）
51CTO大資料學習006--集合
大數計算機
蔡先生論道大資料之(十五) ：什麼是資料化運營？
MYSQL大資料匯入

聯繫我們

該頁面正文內容均來源於網絡整理，並不代表阿里雲官方的觀點，該頁面所提到的產品和服務也與阿里云無關，如果該頁面內容對您造成了困擾，歡迎寫郵件給我們，收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容，歡迎發送郵件至： info-contact@alibabacloud.com 進行舉報並提供相關證據，工作人員會在 5 個工作天內聯絡您，一經查實，本站將立刻刪除涉嫌侵權內容。

熱門內容

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

Get Started for Free

  • Sales Support

    1 on 1 presale consultation

    Chat Contact Sales

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

    Open a Ticket

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.

    Learn More