含100萬條記錄的table如何建立索引?

來源:互聯網
上載者:User

一張表格,由於結構沒有設計好,缺少索引欄位,但是記錄非常多,100萬條。可惜中間缺少2萬條記錄,位置不詳。於是使用perl指令碼建立了一個信標,也是連續自增的100W條記錄。由於只要知道id就可以了,所以寫了下面的sql語句,剛開始是用的not in,結果可想而知,改為LEFT JOIN的時候,效果好一些:


SELECT duplicate.id FROM duplicate LEFT JOIN pmid ON duplicate.id = pmid.id WHERE pmid.id IS NULL ORDER BY duplicate.id ASC LIMIT 0 , 1 

可惜由於沒有索引,所以等待了很久也沒有反應。於是給ID欄位建立索引,結果時間更長了,為什麼呢。在大量資料建立索引的時候,需要在記憶體中產生很多的暫存資料表,預設的/etc/mysql/my.cnf,是分配的記憶體很少的。添上下面的2句,立馬見效。

tmp_table_size = 128M

key_buffer_size = 128M

很快就把索引建好了。10秒左右。太驚訝拉。

然後再執行上面的語句,30秒搞定。可見一個配置的重要性了,和在索引欄位上進行JOIN查詢,效率不一般的高。



聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.