Time of Update: 2016-06-06
本文執行個體講述了Python使用scrapy採集時偽裝成HTTP/1.1的方法。分享給大家供大家參考。具體如下:添加下面的代碼到 settings.py 檔案 代碼如下:DOWNLOADER_HTTPCLIENTFACTORY = 'myproject.downloader.HTTPClientFactory'儲存以下代碼到單獨的.py檔案 代碼如下:from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory,
Time of Update: 2016-06-06
大概五年前吧,我那時還在為一家約會網站做開發工作。他們是早期創業公司,但他們也開始擁有了一些穩定使用者量。不像其他約會網站,這家公司向來以潔身自好為主要市場形象。它不是一個供你鬼混的網站——是讓你能找到忠實伴侶的地方。由於投入了數以百萬計的風險資本(在US大蕭條之前),他們關於真愛並找尋靈魂伴侶的線上廣告勢如破竹。Forbes(福布斯,美國著名財經雜誌)採訪了他們。全國性電視節目也對他們進行了專訪。早期的成功促成了事業起步時讓人垂涎的指數級增長現象——他們的使用者數量以每月加倍的速度增長。對他們
Time of Update: 2016-06-06
(一)什麼是json:JSON(JavaScript Object Notation) 是一種輕量級的資料交換格式。易於人閱讀和編寫。同時也易於機器解析和產生。它基於JavaScript Programming Language, Standard ECMA-262 3rd Edition - December 1999的一個子集。JSON採用完全獨立於語言的文字格式設定,但是也使用了類似於C語言家族的習慣(包括C, C++, C#, Java, JavaScript, Perl,
Time of Update: 2016-06-06
首先介紹下怎麼發現的吧, 線上的項目日誌是通過 logging 模組打到 syslog 裡, 跑了一段時間後發現 syslog 的 UDP 串連超過了 8W, 沒錯是 8 W. 主要是 logging 模組用的不對我們之前有這麼一個需求, 就是針對每一個串連日誌輸出當前串連的資訊, 所以每一個 串連就建立了一個日誌執行個體, 並分配一個 Formatter, 建立日誌執行個體為了區分其他串連 所以我就簡單粗暴的用了當前對象的 id 來作為日誌名稱:import loggingclass
Time of Update: 2016-06-06
由於tornado內建的AsyncHTTPClient功能過於單一, 所以自己寫了一個基於Tornado的HTTP用戶端庫, 鑒於自己多處使用了這個庫, 所以從項目中提取出來, 寫成一個單獨庫 tornadohttpclientTornadoHTTPClient 是一個基於Tornado的高效的非同步HTTP用戶端庫, 支援Cookie和代理, 目前僅在Python2.7平台上測試過, 不支援Python3聽取了仙子君的意見,
Time of Update: 2016-06-06
django-pipeline 是一個 Django 下非常方便的靜態資源管理 app,尤其是 1.2 版本之後,利用 django-staticfiles 的collectstatic 命令,在開發、部署環境下切換非常方便。寫 codinn.com 代碼的時候,靜態資源管理方面遇到了一些煩人的事情: 為了加速頁面載入速度,瀏覽器會緩衝靜態檔案,靜態資源更新後,瀏覽器很可能從緩衝提取到期的靜態檔案 自己寫的 CSS/JS 要手工 minify,非常麻煩 零碎的
Time of Update: 2016-06-06
引子Linux下不支援QQ等功能豐富的IM,雖然可以通過wine運行QQ2012,但是還是喜歡在gtalk群中聊天,gtalk群不支援圖片方式,這就要靠我們大家自己來解決了,eleven開放了一個Image上傳和顯示介面,提供了使用curl來解決,但是我們公司的網路使用squid禁止了curl的訪問,所以整天看他們這麼爽的分享圖片我也不甘心阿,所以就使用Python寫了一個分享圖片的指令碼實現使用scrot,然後使用urllib2庫上傳圖片,如果存在PyQt4庫則會將結果放到剪貼簿上,如果不存在
Time of Update: 2016-06-06
python的pickle模組實現了基本的資料序列和還原序列化。通過pickle模組的序列化操作我們能夠將程式中啟動並執行對象資訊儲存到檔案中去,永久儲存;通過pickle模組的還原序列化操作,我們能夠從檔案中建立上一次程式儲存的對象。基本介面: 代碼如下: pickle.dump(obj, file, [,protocol])註解:將對象obj儲存到檔案file中去。protocol為序列化使用的協議版本,0:ASCII協議,所序列化的對象使用可列印的ASCII碼錶示;1:老式的二進位協議;
Time of Update: 2016-06-06
在 WebHostingTalk 論壇上有些國外奸商會把虛擬機器當作獨立伺服器賣,去年7月份的時候就有一位中國同胞上當受騙,並在 WHT 上發帖聲討,證據確鑿,甚至連服務商自己也承認,回帖達355篇。這家獨立伺服器/VPS 供應商 HostATree.com 居然大膽的把 OpenVZ VPS 這種一看就知道是虛擬機器的虛擬機器當作獨立伺服器賣,暈,至少也要弄個 VMWare/KVM/Xen HVM 吧(更難發現是虛擬機器),用 OpenVZ
Time of Update: 2016-06-06
1、單個像素(畫點)利用pygame畫點主要有三種方法:方法一:畫長寬為1個像素的正方形 代碼如下:import pygame,syspygame.init()screen=pygame.display.set_caption('hello world!')screen=pygame.display.set_mode([640,480])screen.fill([255,255,255])pygame.draw.rect(screen,[0,0,0],[150,50,1,1],1)
Time of Update: 2016-06-06
在OOP程式設計中,當我們定義一個class的時候,可以從某個現有的class繼承,新的class稱為子類(Subclass),而被繼承的class稱為基類、父類或超類(Base class、Super class)。比如,我們已經編寫了一個名為Animal的class,有一個run()方法可以直接列印:class Animal(object): def run(self): print 'Animal is
Time of Update: 2016-06-06
當我們拿到一個對象的引用時,如何知道這個對象是什麼類型、有哪些方法呢?使用type()首先,我們來判斷物件類型,使用type()函數:基本類型都可以用type()判斷:>>> type(123)>>> type('str')>>> type(None)如果一個變數指向函數或者類,也可以用type()判斷:>>> type(abs)>>> type(a)但是type()函數返回的是什麼類型呢?它返回type類型。如果我們要在if語句中判斷,就需要比較兩個變數的type類型是否相同:>>>
Time of Update: 2016-06-06
Python的每個新版本都會增加一些新的功能,或者對原來的功能作一些改動。有些改動是不相容舊版本的,也就是在目前的版本運行正常的代碼,到下一個版本運行就可能不正常了。從Python 2.7到Python 3.x就有不相容的一些改動,比如2.x裡的字串用'xxx'表示str,Unicode字串用u'xxx'表示unicode,而在3.x中,所有字串都被視為unicode,因此,寫u'xxx'和'xxx'是完全一致的,而在2.x中以'xxx'表示的str就必須寫成b'xxx',以此表示“二進位字串”
Time of Update: 2016-06-06
type()動態語言和靜態語言最大的不同,就是函數和類的定義,不是編譯時間定義的,而是運行時動態建立的。比方說我們要定義一個Hello的class,就寫一個hello.py模組:class Hello(object): def hello(self, name='world'): print('Hello, %s.' % name)當Python解譯器載入hello模組時,就會依次執行該模組的所有語句,執行結果就是動態建立出一個Hello的class對象,測試如下:>>> from
Time of Update: 2016-06-06
本文執行個體講述了python字典get()方法用法。分享給大家供大家參考。具體分析如下:如果我們需要擷取字典值的話,我們有兩種方法,一個是通過dict['key'],另外一個就是dict.get()方法。這裡給大家分享的就是字典的get()方法。這裡我們可以用字典做一個小遊戲,假設使用者在終端輸入字串:"1"或者是"2"或者是"3",返回對應的內容,如果是輸入其他的,則返回"error">>> info = {'1':'first','2':'second','3':'third'}>>>
Time of Update: 2016-06-06
項目中有個定時任務,每天取到一些表資料傳到一個外部介面,但是最近總是有異常,今天查了下原因。首先本地和測試環境測試這個程式都沒問題,只有線上環境會在日誌中拋出異常,猜測異常主要產生的原因是資料的異常。但是哪些資料有異常,由不得而知,於是增加了程式的輸出日誌和資料列印,通過幾次的運行定位了發生錯誤的函數和資料記錄。異常是這樣的: 代碼如下:EOL while scanning string literal: , line 1, pos 7
Time of Update: 2016-06-06
程式能一次寫完並正常啟動並執行機率很小,基本不超過1%。總會有各種各樣的bug需要修正。有的bug很簡單,看看錯誤資訊就知道,有的bug很複雜,我們需要知道出錯時,哪些變數的值是正確的,哪些變數的值是錯誤的,因此,需要一整套偵錯工具的手段來修複bug。第一種方法簡單直接粗暴有效,就是用print把可能有問題的變數列印出來看看:# err.pydef foo(s): n = int(s) print '>>> n = %d' % n return 10 / ndef main():
Time of Update: 2016-06-06
#! -*- coding:utf-8 -*- import string s = 'Yes! This is a string' print '原字串:' + s print '小寫:' + s.lower() print '大寫:' + s.upper() print '大小寫轉換:' + s.swapcase() print '首字母大寫:' + s.capitalize() print '每個單字首大寫:' + s.title()
Time of Update: 2016-06-06
Python是一門弱類型語言,很多從C/C++轉過來的朋友起初不是很適應。比如,在聲明一個函數時,不能指定參數的類型。用C做類比,那就是所有參數都是void*類型!void類型強制轉換在C++中被廣泛地認為是個壞習慣,不到萬不得已是不會使用的。Python自然沒有類型強制轉換一說了,因為它是動態語言。首先,所有對象都從Object繼承而來,其次,它有強大的內省,如果調用某個不存在的方法會有異常拋出。大多數情況,我們都不需要做參數類型栓查,除了一些特殊情況。例如,某個函數接受一個str類型,結果在
Time of Update: 2016-06-06
Blog Posts的提交讓我們從簡單的開始。首頁上必須有一張使用者提交新的post的表單。首先我們定義一個單域表單對象(fileapp/forms.py): class PostForm(Form): post = TextField('post', validators = [Required()])下面,我們把這個表單添加到template中(fileapp/templates/index.html): {% extends "base.html" %} {% block