關於curl的一個讓小弟我很糾結的有關問題,求解答

來源:互聯網
上載者:User
關於curl的一個讓我很糾結的問題,求解答
我用curl類比訪問百度的推廣,我的目的是通過cookie來擷取裡面的json資料,現在情況如下:

1、通過類比登陸到百度推廣的網站
2、然後再通過cookie和post參數擷取json資料
3、對拿到的json資料進行解析入庫

現在問題就是:我在入庫到一半的時候,代碼顯示無法拿到json資料了。然後我將指令碼重新執行一次,結果是前面那一半的資料也拿不到了(雖然我已經將這一半資料入庫了,但我重新擷取,按道理來說是有json資料返回的)。

現在我的理解是,可能是在取json資料時,curl的訪問出問題了(但這應該不是代碼問題,因為前面已經擷取到了一半的資料了,這種情況就像你上網突然斷網了一樣)

請問各位大俠使用curl時有沒有出現過這種情況,求解答!


------解決方案--------------------
全拿到資料判斷資料完整性再寫入操作。。
------解決方案--------------------
不會出現這種情況吧,只有發送的請求完全返回curl才會擷取,post一次,會得到一次響應,要不就是完整的要不就是什麼都沒有。這個不像顯示網頁,有時候只有一部分載入進來了,一部分不會顯示。
------解決方案--------------------
對, 你請求發得太快,對方臨時block你了,
請求之間sleep個幾秒.....
  • 聯繫我們

    該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

    如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

    A Free Trial That Lets You Build Big!

    Start building with 50+ products and up to 12 months usage for Elastic Compute Service

    • Sales Support

      1 on 1 presale consultation

    • After-Sales Support

      24/7 Technical Support 6 Free Tickets per Quarter Faster Response

    • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.