Time of Update: 2017-01-18
寫在前面題目所說的並不是目的,主要是為了更詳細的瞭解網站的反爬機制,如果真的想要提高部落格的閱讀量,優質的內容必不可少。瞭解網站的反爬機制一般網站從以下幾個方面反爬蟲:1.
Time of Update: 2017-01-18
寫在前面這次的爬蟲是關於樓價資訊的抓取,目的在於練習10萬以上的資料處理及整站式抓取。資料量的提升最直觀的感覺便是對函數邏輯要求的提高,針對Python的特性,謹慎的選擇資料結構。以往小資料量的抓取,即使函數邏輯部分重複,I/O請求頻率密集,迴圈套嵌過深,也不過是1~2s的差別,而隨著資料規模的提高,這1~2s的差別就有可能擴充成為1~2h。因此對於要抓取資料量較多的網站,可以從兩方面著手降低抓取資訊的時間成本。1)最佳化函數邏輯,選擇適當的資料結構,符合Pythonic的編程習慣。例如,字串的
Time of Update: 2017-01-18
一.記憶體回收機制Python中的記憶體回收是以引用計數為主,分代收集為輔。引用計數的缺陷是循環參考的問題。在Python中,如果一個對象的引用數為0,Python虛擬機器就會回收這個對象的記憶體。#encoding=utf-8__author__ = 'kevinlu1010@qq.com' class ClassA(): def __init__(self): print 'object born,id:%s'%str(hex(id(self))) def
Time of Update: 2017-01-18
python xml.etree.ElementTree遍曆xml所有節點XML檔案內容:<students> <student name='劉備' sex='男' age='35'/> <student name='呂布' sex='男' age='38'/> <student name='貂蟬' sex='女' age='22'/> </students> 代碼:#-*- coding: UTF-8 -*- #
Time of Update: 2017-01-18
所謂類屬性的延遲計算就是將類的屬性定義成一個property,只在訪問的時候才會計算,而且一旦被訪問後,結果將會被緩衝起來,不用每次都計算。構造一個延遲計算屬性的主要目的是為了提升效能property在切入正題之前,我們瞭解下property的用法,property可以將屬性的訪問轉變成方法的調用。class Circle(object): def __init__(self, radius): self.radius = radius @property def
Time of Update: 2017-01-18
編輯距離編輯距離(Edit Distance),又稱Levenshtein距離,是指兩個字串之間,由一個轉成另一個所需的最少編輯操作次數。編輯操作包括將一個字元替換成另一個字元,插入一個字元,刪除一個字元。一般來說,編輯距離越小,兩個串的相似性越大。例如將kitten一字轉成sitting:('kitten' 和 ‘sitting' 的編輯距離為3) sitten (k→s) sittin (e→i)
Time of Update: 2017-01-18
楊輝三角,又稱賈憲三角形,帕斯卡三角形,是二項式係數在三角形中的一種幾何排列。把每一行看做一個list,寫一個generator,不斷輸出下一行的list實現下列輸出效果:# [1] # [1, 1] # [1, 2, 1] # [1, 3, 3, 1] # [1, 4, 6, 4, 1] # [1, 5, 10, 10, 5, 1] # [1, 6, 15, 20, 15, 6, 1] # [1, 7, 21, 35, 35, 21, 7, 1] # [1, 8, 28, 56, 70, 56
Time of Update: 2017-01-18
#!/usr/bin/env python# -*- coding:utf-8 -*-"""老規矩以下方法環境2.7.x,請3.x以上版本的朋友記得格式print(輸出內容放入括弧內)字典的基本組成以及用法dict = { key : value }dict[ key ] =
Time of Update: 2017-01-18
1 IDLE1.1 IDLE是python創初人Guido van Rossum使用python and Tkinter來建立的一個整合式開發環境。要使用IDLE必須安裝python and Tkinter。1.2 特性:自動縮排,彩色編碼,命令曆史(Alt+p,Alt+n)和單詞自動(Alt+/)完成。1.3
Time of Update: 2017-01-18
前言WAF上線之後,處理最多的是誤判消除。產生誤判有多種原因,比如web應用源碼編寫時允許用戶端提交過多的cookie;比如單個參數提交的數值太大。把誤判降低到了可接受的範圍後,還要關注漏報。WAF不是神,任何WAF都可能被繞過。所以還需要定位漏過的攻擊,明確漏報的原因,才能update
Time of Update: 2017-01-18
match()和search()都是python中的正則匹配函數,那這兩個函數有何區別呢?match()函數只檢測RE是不是在string的開始位置匹配, search()會掃描整個string尋找匹配, 也就是說match()只有在0位置匹配成功的話才有返回,如果不是開始位置匹配成功的話,match()就返回none例如:#! /usr/bin/env python# -*- coding=utf-8 -*-import retext = 'pythontab'm = re.match(r"\
Time of Update: 2017-01-18
對於那些需要在登入環境下進行的爬蟲操作,類比登陸或偽裝已登入狀態是一個剛需。分析了網上關於類比登入的例子,很多都基於使用者名稱/密碼發起一個post請求,遇到有圖片驗證碼的,比較理想的方法是進行人工幹預,同步發起一個圖片驗證碼的請求,將圖片寫到本地,人工查看後進行輸入。既然,少不了人工幹預,為何登入操作不全程人工進行,已登入後再把瀏覽器的Cookie資訊全拷貝出來,通過爬蟲偽造成一個已登入的瀏覽器呢?
Time of Update: 2017-01-18
進程是由系統自己管理的。1:最基本的寫法from multiprocessing import Pooldef f(x): return x*xif __name__ == '__main__': p = Pool(5) print(p.map(f, [1, 2, 3]))[1, 4, 9]2、實際上是通過os.fork的方法產生進程的unix中,所有進程都是通過fork的方法產生的。multiprocessing Processosinfo(title): title ,
Time of Update: 2017-01-18
0x00 前言大家對HTTP代理應該都非常熟悉,它在很多方面都有著極為廣泛的應用。HTTP代理分為正向 Proxy和反向 Proxy兩種,後者一般用於將防火牆後面的服務提供給使用者訪問或者進行負載平衡,典型的有Nginx、HAProxy等。本文所討論的是正向 Proxy。HTTP代理最常見的用途是用於網際網路共用、網路加速和網路限制突破等。此外,HTTP代理也常用於Web應用調試、Android/IOS APP 中所調用的Web API監控和分析,目前的知名軟體有Fiddler、Charles、
Time of Update: 2017-01-18
標籤:python import buying #!/usr/bin/env python3#--*-- codeing=utf-8 --*--#import os,sysclass Role(object): ac=None def __ini
Time of Update: 2017-01-17
標籤:owb atp dfs dff sdh oar mac dea dmi 密碼驗證: 驗證需要自己處理。總結一下使用者密碼的儲存:(1)
Time of Update: 2017-01-17
前言zabbix是個非常強大的監控工具,可以監控linux和windows的伺服器資料,也可以通過自訂key來擴充預設的監控項,但是內建的郵件警示提供的資訊卻不太友善。本文想通過自定指令碼的方式,實現在警示郵件的同時發送對應的映像和url串連。步驟如下:1、編輯zabbix_server.conf檔案,修改AlertScriptsPath參數,該參數用於指定外部指令碼的絕對路徑。vim
Time of Update: 2017-01-16
較小檔案處理方法:import hashlibimport os def get_md5_01(file_path): md5 = None if os.path.isfile(file_path): f = open(file_path,'rb') md5_obj = hashlib.md5() md5_obj.update(f.read()) hash_code = md5_obj.hexdigest() f.close() md5 =
Time of Update: 2017-01-16
接著上一篇繼續學習列表的相關操作,主要時學習列表分區和幾個對於列表元素進行操作的函數,算是對於上一篇的一個補充。1.列表的分區 格式:str1=str[起始位置:結束位置] 作用:將str中指定區間的元素複製到str1中,也就是說分區得到的是原字串的一個副本,而不是一個指向str的一個標籤而已,而通過“=”賦值得到只是str的一個標籤,即對str操作就是對str1進行操作,類似於Java中的值傳遞和引用。2.列表的重複操作符(*)3.成員關係操作符(in not in)
Time of Update: 2017-01-17
python學習筆記第一天,python學習筆記一、關於變數與常量:在python中,只有變數沒有常量,變數名要求數字,字母、底線組成,但是數字不能作為變數名,例如:name = ‘xiaopi’name_of_thisnumber = 123常量可以通過@方式表示,但是也可以更改 二、引號是使用:在python中,可以使用' 或者 “