大資料接觸心得

http://www.594jsh.cn/Look.asp?id=67

不是經驗技巧,也不是技術指導,只是根據自己目前做的一點小心得
大資料查詢最重要提速的就是索引,所以很多問題都是圍繞索引來改
主鍵必不可少,按主鍵查詢和排序是最快的
其他根據需求建立相關非叢集索引,或複合式索引
表結構設計尤為重要,不可讓索引失效
1為空白欄位會對索引失效
2對欄位裡的值進行處理(substring(catecode,1,4)=1000)也會,只有整個欄位作為查詢對比條件索引才起作用
3對索引欄位裡值是多個用分割符隔開的,索引也會失效
4like %d%索引也會失效
5注意in的效率在大資料表裡查詢效率超低,盡量少用
6對於關聯大資料量的表也是慢就一個字,寧願多建幾個欄位,也不要進行關聯.
7還有能夠用int的盡量用int類型來標識,比文字查詢效率會快些
8對於唯讀,盡量用只向前方式讀取
9對於大資料統計,且要分類統計慎用count(很耗CPU)
10能用視圖就用視圖來替到頁面上的SQL語句,這樣在記憶體中執行,畢竟現在的伺服器配置都不是很差
11在SQL自訂函數裡少用查詢大資料表,大資料分頁,需要哪幾條,提幾條,根據pagesize來讀取,不要一次性的把記錄提出來,如果一次性提出幾萬,一般很慢,超過幾十萬,幾百萬,就掛了,條件一層層篩選後查詢效率快N多
12小細節注意的,欄位長度實際需要多長就設多長,不要隨意設定
13盡量少一次性輸出幾千或幾萬條text類型的欄位
14需要什麼讀什麼
15記錄集和資料庫連接對象即開即關
16大資料裡排序是最耗時的,所以排序欄位建索引是最重要的