PHP採集逾時

來源:互聯網
上載者:User

寫了一個api資料擷取的php程式放到伺服器,但是資料量巨大,總是會採集逾時。請問可以有什麼解決方案?有沒有辦法設定逾時之後自動重新整理,從斷點重新開始運行程式?

回複內容:

寫了一個api資料擷取的php程式放到伺服器,但是資料量巨大,總是會採集逾時。請問可以有什麼解決方案?有沒有辦法設定逾時之後自動重新整理,從斷點重新開始運行程式?

採集工作不要使用瀏覽器進行程式訪問 , 使用命令列模式沒有逾時的情況, 但是使用命令列模式要注意記憶體的釋放,否則會有存在記憶體溢出的錯誤, 如果使用瀏覽器進行程式執行入口 需要增加分頁跳轉功能, 採集完幾個地址後自動跳轉一下, 這樣就避免逾時了 set_time_limit 如果可以調的話可以調的大一點
(補充一點:逾時後自動重新整理這個沒辦法實現,逾時了程式就已經終止了,只能認為重新整理, 從斷點開始繼續採集這個是有辦法的, 每次採集開始時記錄一下當前採集連結,結束時把當前採集連結狀態設為完成狀態,重新開始採集的時候程式自動檢測一下這個日誌,從有記錄的地方開始採集就可以了)

我部落格專門有一篇PHP並行採集的文章 比一般的效率高很多
串連: http://rrtry.top/%E7%BD%91%E7%AB%99%E6%8A%80%E6%9C%AF/20.html

set_time_limit(0); 可以不逾時
逾時自動重新整理的話 沒做過 感覺需要用指令碼結合PHP返回資料實現

上午剛採集完一大坨資料,用cli模式撒。

  • 相關文章

    聯繫我們

    該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

    如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

    A Free Trial That Lets You Build Big!

    Start building with 50+ products and up to 12 months usage for Elastic Compute Service

    • Sales Support

      1 on 1 presale consultation

    • After-Sales Support

      24/7 Technical Support 6 Free Tickets per Quarter Faster Response

    • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.