非同步 - PHP大量資料資料匯入

現在有個需求，要把excel資料匯入到資料表中，但資料量比較大，最多的時候一次要匯入幾十W條資料，匯入的資料不是直接寫db的，是走介面的，介面一次性最多處理1000條，耗時比較長，現在有個想法，想把這個做成任務式的匯入，每次匯入就是建立一個匯入任務，把所有任務做成隊列，依次完成匯入任務，有什麼好的方法和建議

回複內容：

現在有個需求，要把excel資料匯入到資料表中，但資料量比較大，最多的時候一次要匯入幾十W條資料，匯入的資料不是直接寫db的，是走介面的，介面一次性最多處理1000條，耗時比較長，現在有個想法，想把這個做成任務式的匯入，每次匯入就是建立一個匯入任務，把所有任務做成隊列，依次完成匯入任務，有什麼好的方法和建議

你的想法很好，可惜PHP不適合做這種事情，建議用Java之類的語言來實現你的想法。

PHP有了任務，直接把任務參數提交到資料庫。

Java在後台每100ms訪問一次資料庫，看看有沒有任務，有就處理。

php預設30秒 ；你可以加個set_time_limit(99999999);
幾十萬資料 應該是不要1分鐘就倒完了

Crontab + task list 做後台非同步任務，很適合這種情境

1. mysql load data infile 將資料快速匯入到暫存資料表

2. php守護進程分批將資料往介面同步（或者crontab寫定時任務）

php拼接成sql，直接mysql後台source匯入

最好是分段匯入，不要一次性匯入

