大規模資料作成時的注意點。

有時候測試大規模資料，300萬條。

 

這時有幾點是我們需要注意的。

1.對作成的資料，選擇一個欄位設定上特殊的值。

通過這個特殊值來判斷表中的資料是這次大規模的測試資料，還是已有資料。

同時也方便將來刪除。

 

2.確認資料的有效性。

比如，DB中有的欄位是加密後的欄位，程式中會將這個資料解密。

如果無法解密則會報錯，所以我們要確認DB中有加密的資料欄位。

特別需要注意的是，有寫欄位也許不是我們的查詢條件，

但是在處理中需要使用。因此，下面的第四步就非常重要！！！

(主要對非查詢條件欄位判斷)

 

3.確認資料的可行性。

程式執行時，抽取的資料要求滿足一些特殊條件，

我要事先將這些資料準備好。

(主要對查詢條件欄位進行判斷)

 

4.先作出一小部分資料，執行一下，

確認不會出現問題，在大規模作成。

 

5.可以考慮用預存程序實現。

 

6.不要讓預存程序執行迴圈300萬次。

可以執行100次預存程序，每次執行3萬件。

 

7.確認資料產生時，是否產生備份，

如果產生備份，及時刪除備份。

不然，300萬條的資料足夠佔滿70G的空間。

 

8.注意系統時間

注意，是伺服器上的系統時間。

(有時伺服器的時間不會是標準的北京時間，或是某個時區的時間)

(比如我們的伺服器時間，在東八區時間和東九區之間)