首頁 > 開發者 > 網站開發

第三百二十二節，web爬蟲，requests請求

來源：互聯網
上載者：User
創建阿里雲帳戶，並獲得超過 40 款產品的免費試用版；而企業帳戶則可以享有總值 $1200 的免費試用版。立即註冊！

標籤：doctype   返回   round   ie8   logs   har   科技   odi   UI   

第三百二十二節，web爬蟲，requests請求

requests請求，就是用yhthon的requests模組類比瀏覽器請求，返回html源碼

 

類比瀏覽器請求有兩種，一種是不需要使用者登入或者驗證的請求，一種是需要使用者登入或者驗證的請求

 

一、不需要使用者登入或者驗證的請求

這種比較簡單，直接利用requests模組發一個請求即可拿到html源碼

#!/usr/bin/env python# -*- coding:utf8 -*-import requests     #匯入類比瀏覽器請求模組http =requests.get(url="http://www.iqiyi.com/")     #發送http請求http.encoding = "utf-8"                             #http請求編碼neir = http.text                                    #擷取http字串代碼print(neir)

得到html源碼

<!DOCTYPE html><html><head><title>抽屜新熱榜-彙總每日熱門、搞笑、有趣資訊</title>        <meta charset="utf-8" />        <meta name="keywords" content="抽屜新熱榜,資訊,段子,圖片,公眾場合不宜,科技,新聞,節操,搞笑" />                <meta name="description" content="            抽屜新熱榜，匯聚每日搞笑段子、熱門圖片、有趣新聞。它將微博、門戶、社區、bbs、社交網站等海量內容彙總在一起，通過使用者推薦產生最熱榜單。看抽屜新熱榜，每日熱門、有趣資訊盡收眼底。            " />                <meta name="robots" content="index,follow" />        <meta name="GOOGLEBOT" content="index,follow" />        <meta name="Author" content="搞笑" />        <meta http-equiv="X-UA-Compatible" content="IE=EmulateIE8">        <link type="image/x-icon" href="/images/chouti.ico" rel="icon"/>        <link type="image/x-icon" href="/images/chouti.ico" rel="Shortcut Icon"/>        <link type="image/x-icon" href="/images/chouti.ico" rel="bookmark"/>    <link type="application/opensearchdescription+xml"          href="opensearch.xml" title="抽屜新熱榜" rel="search" />

 

第三百二十二節，web爬蟲，requests請求

本文章原先以中文撰寫並發佈於 aliyun.com，亦設英文版本，僅作資訊用途。本網站不對文章的準確性，完整性或可靠性或其任何翻譯作出任何明示或暗示的陳述或保證。如對該文章有任何疑慮或投訴，請傳送電郵至 info-contact@alibabacloud.com 並提供相關疑慮或投訴的詳細說明。職員會於 5 個工作天內與您聯絡，一經驗證之後，即會刪除該侵權內容。

相關關鍵詞：
plex requests mysql requests per second python3 requests chrome trace http requests make fewer http requests http types of requests requests cookie jar
相關文章
自學成才的秘密：115個 web Develop 資源_經典網摘
__x__(20)0907第四天__ css 框模型
SVN提示https認證驗證失敗問題svn: E230001: Server SSL certificate verifi...
JS如何判斷文字是全形還是半形（轉載）
Citrix NetScaler產品學習筆記之一：Citrix NetScaler概述

聯繫我們

該頁面正文內容均來源於網絡整理，並不代表阿里雲官方的觀點，該頁面所提到的產品和服務也與阿里云無關，如果該頁面內容對您造成了困擾，歡迎寫郵件給我們，收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容，歡迎發送郵件至： info-contact@alibabacloud.com 進行舉報並提供相關證據，工作人員會在 5 個工作天內聯絡您，一經查實，本站將立刻刪除涉嫌侵權內容。

熱門內容

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

Get Started for Free

  • Sales Support

    1 on 1 presale consultation

    Chat Contact Sales

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

    Open a Ticket

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.

    Learn More