Time of Update: 2018-07-28
入門爬蟲一段時間,最近在做一個拉勾網的資料爬蟲分析,項目也快接近尾聲了,於是抽個時間寫一下這個項目中遇到的一些問題。 目前拉勾網的反爬蟲機制還是可以的,一開始用scrapy shell 分析拉勾網,發現拉勾網要校正useragent,然後訪問不到幾次就會被重新導向到登入頁面,即拉勾網會校正cookie。 下面是類比登陸的思路: 拉勾網登入頁面: https://passport.lagou.com/login/login.html 抓包分析一下
Time of Update: 2018-07-31
前面的文章提到了ExFAT boot checksum出錯時的錯誤提醒,這裡如果需要確認boot checksum是否正確,需要將boot checusum的演算法實現一遍. 這裡採用了python來實現. boot checksum演算法參考下面: exFAT Boot Checksum This sector contains a repeating 32-bit checksum of the previous 11 sectors. The checksum
Time of Update: 2018-09-08
標籤:example number .com add 接收 exactly alt img 索引值 Given an array of integers, return
Time of Update: 2018-09-09
標籤:== 開啟 index 直接 board 必須 要求 key ret 1、瞭解什麼是異常處理異常就是程式運行時發生錯誤的訊號(在程式出現錯誤時,則會產生一個異常,若程式沒有處理它,則會拋出
Time of Update: 2018-09-08
標籤:訪問 strip() 異常類 命名 物件類型 pytho pychar 簡單 func 一.異常處理的定義 python解譯器檢測到錯誤,觸發異常(也允許程式員自己觸發異常) 程式員編
Time of Update: 2018-08-02
標籤:XML lag encoding utf-8 imp img validate ret findall 前言登入網站的時候,經常會遇到傳token參數,token關聯並不難,難的是找出伺服
Time of Update: 2018-12-05
enumerate()A new built-in function, enumerate(), will make certain loops a bit clearer. enumerate(thing), where thing is either an iterator or a sequence, returns a iterator that will return (0, thing[0]), (1, thing[1]),
Time of Update: 2018-12-04
python 讀寫XML (原文轉自http://zc0604.iteye.com/blog/1520703 )<一 python讀XML檔案> 轉自http://hi.baidu.com/heelenyc/blog/item/4062fd0b57c75294d1581b09.htmlPython處理XML使用python開發時,由於python的開源生態圈非常的給力,對於實現同一個功能,往往在這方面的類庫非常多,而開發人員也同樣面臨著如何選擇最佳的
Time of Update: 2018-12-05
總是記不住API。昨晚寫的時候用到了這些,但是沒記住,於是就索性整理一下吧:python中對檔案、檔案夾(檔案操作函數)的操作需要涉及到os模組和shutil模組。得到當前工作目錄,即當前Python指令碼工作的目錄路徑: os.getcwd()返回指定目錄下的所有檔案和目錄名:os.listdir()函數用來刪除一個檔案:os.remove()刪除多個目錄:os.removedirs(r“c:\python”)檢驗給出的路徑是否是一個檔案:os.path.isfile()檢驗給出的路徑是否是一
Time of Update: 2018-12-07
Python的標準庫中的os模組包含普遍的作業系統功能。如果你希望你的程式能夠與平台無關的話,這個模組是尤為重要的。即它允許一個程式在編寫後不需要任何改動,也不會發生任何問題,就可以在Linux和Windows下運行。下面列出了一些在os模組中比較有用的部分。它們中的大多數都簡單明了。os.sep 可以取代作業系統特定的路徑分割符。 os.name字串指示你正在使用的平台。比如對於Windows,它是'nt',而對於Linux/Unix使用者,它是'posix'。
Time of Update: 2018-12-07
文章目錄 1、位元組編譯的.pyc檔案2、from ... import ...語句3、模組的__name__屬性4、建立自己的模組5、dir()函數6、包(Packages)
Time of Update: 2018-12-07
文章目錄 1、列表2、元組3、字典4、序列5、集合6、引用7、更多字串的內容總結:
Time of Update: 2018-12-07
人們學習PHP是因為要得到一份工作;人們學習Java是因為他們選修了電腦科學這門課;人們學習Python是因為他們愛這門語言,因為他們追尋美,如果我僱傭了一個Python程式員,他很有可能是優秀的程式員。以上的話是Rails On
Time of Update: 2018-12-07
使用函數得到使用者輸入(a)建立一段指令碼使用內建函數從使用者輸入得到一個字串,然後顯示這個使用者剛輸入的字串(b)添加一段類似的代碼,不過這次是數值,將它轉換為數值,並顯示給使用者看# araw_input("enter something")# b a = raw_input("enter some number")print(int(a))迴圈與數字(a)用while寫個迴圈,輸出0至10(b)使用range函數做相同的事件# aa = 0while a
Time of Update: 2018-12-07
Python沒有數組的概念,相對於一維數組,python已經轉化為list和tuple,但是對於其他語言中對應的多維陣列,在python中表示非常麻煩,很容易出現錯誤,也不容易引用。考慮到dict對於任意元素的索引方式,如果將數字索引作為dict的索引值,那麼可以將dict看作一個特殊的數組,從而也方便在python中進行索引。下面建立了一個三維數組: hough = {} w, h, radius = 5, 10, 10 for x in xrange(w):
Time of Update: 2018-12-07
文章目錄 2.0. 準備工作:確定對象的類型2.1. 模組(module)2.2. 類(class)2.3. 執行個體(instance)2.4. 內建函數和方法(built-in functions and methods)2.5. 函數(function)2.6. 方法(method)2.7. 產生器(generator)2.8. 代碼塊(code)2.9. 棧幀(frame)2.10. 追蹤(traceback)3.1. 檢查物件類型3.2.
Time of Update: 2018-12-07
python popen是python os模組裡的一個方法,它用來執行一些系統的命令還是非常的不錯,它能返回些你想要的東西。python
Time of Update: 2018-12-07
文章目錄 1、常量:2、數:3、字串: 接上:Python學習(一)三、基本概念1、常量:一個字面意義上的常量的例子是如同5、1.23、9.25e-3這樣的數,或者如同'This is a string'、"It's a string!"這樣的字串。它們被稱作字面意義上的,因為它們具備 字面
Time of Update: 2018-12-07
本章介紹如何將語句組織成函數,這樣,可以告訴電腦如何做事。 下面編寫一小段代碼計算婓波那契數列(前兩個數的和是第三個數)fibs = [0,1] # 定義一個列表,初始內容是0,1for i in range(8): #迴圈8次 fibs.append(fibs[-2]+fibs[-1]) #append在末尾追加一個數,這個是它前面兩個數的和#輸入>>> fibs#輸出[0, 1, 1, 2, 3, 5, 8, 13, 21,
Time of Update: 2018-02-22
Python實現利用163郵箱遠程關電腦指令碼,python163學了一個禮拜Python之後寫的,代碼很粗糙,只是為了完成利用163郵箱遠程關電腦功能。直接把代碼發上來吧。要執行的話得先安裝一些模組,看import語句。十月初寫的,寫完這個之後就沒怎麼寫python了,忘得厲害。 本來想從mail.163.com類比登入的,但這個網頁提交按鈕是個, 有點複雜,搞了幾個小時搞不定。 我就繞了一下,從http://reg.163.com/logins.jsp