Time of Update: 2015-07-30
標籤:網路爬蟲 python 線程池 一,我是如何使用Python抓取網頁的我知道Python有一個爬蟲架構scrapy,但是目前還沒有學習,並且也沒有什麼很棘手的的問題需要去使用一個爬蟲架構,所以我就用Python內建的urllib,將目標網頁爬下來,然後用正則過濾出自己需要的內容。二,效率問題上面的方法簡單,真的是上手即用,但是問題是效率問題,如果一個網頁一個網頁的抓,顯然頻寬無法達到最高,
Time of Update: 2015-07-30
標籤:目前對於python中@classmethod 類方法和@staticmethod靜態方法的有了一定的認識,之後有進一步的認識後繼續記錄。@classmethod
Time of Update: 2015-07-29
標籤:xml檔案<?xml version="1.0" encoding="GBK"?><records serial_number="1"> <record id="1" name="admin" password="admin" auth="1" email="" receivedMail="0" description="系統超級管理員,不能被刪除。" createTime="N/A"/> </records>python
Time of Update: 2015-07-28
標籤:關於模組匯入方式: import random print random.choice(range(10))和 from random import choice print
Time of Update: 2015-07-28
標籤:python內部提供了很多內建函數。下面讓我們從a-z開始學習python的內建函數
Time of Update: 2015-07-28
標籤:python 自動備份指令碼題目: 周末的時候幫朋友寫了一個備份需求的指令碼,現在整理一下,分享出來使用Python語言的Fabric模組,這裡就不掃盲了,營運必用的Python模組; 大概要求: 公司需求,每天淩晨2點備份資料(資料量不大,每天全備),拷貝至備份伺服器,通過md5對比備份檔案(本機備份檔案和備份伺服器檔案對比),並將備份情況通知營運組同學。備份思路:
Time of Update: 2015-07-29
標籤:python class 物件導向 類 Class(類)的基本概念:類:將同一種具體事務的共同點抽象出來的表現,Python的類是一種可調用對象。類中定義的有方法,變數,資料結構。變數則是類屬性本身是沒有資料的,只有在執行個體化的時候將資料引入。方法就是函數;是操作變數引用的資料的代碼,可以知道方法是操作資料的,由於類中不包含資料,所以類無法調用方法,只有
Time of Update: 2015-07-28
標籤:安裝python檔案準備: A. python安裝檔案:我用的是python-3.4.3.amd64.msi;安裝很簡單,直接雙擊點下一步即可;配置環境變數,在windows系統變數中找到path,添加python的安裝路徑;在案頭使用ctrl+shift+右鍵 組合開啟命令視窗,輸入python,如果安裝成功則會出現1所示結果。
Time of Update: 2015-07-29
標籤: 1 #!usr/bin/env python3 2 3 #在UNIX上,當某程式在控制台中被引用時,該檔案的頭兩個位元組先被讀入。如果這兩個位元組是ASCII字元 #!, 4 #shell就會認為該檔案將要由解譯器執行,並且該檔案的首行指定了要使用哪個解譯器,該行稱shebang行(shell執行) 5 #如果存在,就必須為可執行檔的首行,上面這種方式是推薦用法。 6 7 #windows系統中,這個首行不是必須的 8 9 10 #注釋全部以#開頭,沒有單獨的段注釋的方式11 ##
Time of Update: 2015-07-28
標籤:python matplotlib 今天太晚了,參考連結先放在這裡,明天再根據自己的實際情況整體一下,http://www.cnblogs.com/qianlifeng/archive/2012/02/13/2350086.html實際上遇到的原始碼作為例子貼上。# show your cluster only available with 2-D data
Time of Update: 2015-07-28
標籤:前言 Spark能夠自動推斷出Json資料集的“資料模式”(Schema),並將它載入為一個SchemaRDD執行個體。這種“自動”的行為是通過下述兩種方法實現的: jsonFile:從一個檔案目錄中載入資料,這個目錄中的檔案的每一行均為一個JSON字串(如果JSON字串“跨行”,則可能導致解析錯誤); jsonRDD:從一個已經存在的RDD中載入資料,這個RDD中的每一個元素均為一個JS
Time of Update: 2015-07-27
標籤:python內部提供了很多內建函數。下面讓我們從a-z開始學習python的內建函數1.1callable(object)如果object參數是可以調用的對象(callable),則返回true,否則就返回false。a = 123def fun(): print("hello")print(callable(a))print(callable(fun()))輸出的結果是:FalsehelloFalsefunc()是可以調用的對象,所以返回true,但是變數a不是,所以返回false1.2
Time of Update: 2015-07-27
標籤:mystra python 命令列參數 命令列參數 1. sys.argv[1:]為要處理的參數列表, sys.argv[0]為指令碼名, sys.argv[1:]過濾指令碼名. 2. “hc:o:”當選項(h)表示開關狀態時,後面不帶附加參數. 當選項(c:或o:)帶附加參數時,選項字元後面加一個”:”號. 3. getopt函數返回兩個列表: opts和args.
Time of Update: 2015-07-26
標籤:迭代器 python python的range()函數使用很方便,它能返回一系列連續增加的整數,它的工作方式類似於分區,可以產生一個列表對象。range函數大多數時常出現在for迴圈中,在for迴圈中可做為索引使用。其實它也可以出現在任何需要整數列表的環境中,在python 3.0中range函數是一個迭代器。>>> range(1,5) #代表從1到5(不包含5)[1, 2, 3, 4]&
Time of Update: 2015-07-25
標籤:# 列表用中括弧包圍,列表中的資料項目用‘,’分隔,用‘=’將列表賦值給一個標示符(請注意:Python中的變數標識符沒有類型)>>> cast
Time of Update: 2015-07-24
標籤:今天想用python的裝飾器做一個運算,代碼如下 >>> def mu(x):def _mu(*args,**kwargs):return x*xreturn _mu>>> @mudef test(x,y):print ‘%s,%s‘ %(x,y)>>> test(3,5)Traceback (most recent&
Time of Update: 2015-07-24
標籤:__slots__ collections.namedtuple 記憶體最佳化 在預設情況下,Python的新類和舊類的執行個體都有一個字典來儲存屬性值。這對於那些沒有執行個體屬性的對象來說太浪費空間了,當需要建立大量執行個體的時候,這個問題變得尤為突出。
Time of Update: 2015-07-24
標籤: 面試的時候被問到這樣一個問題:有A、B兩個數組,找出B中有A中沒有的所有元素(換言之即是求差集B-A)。當時比較緊張,用了最原始的雙重嵌套迴圈逐個比較,很顯然這種時間複雜度高達O(n2)的演算法相當low。
Time of Update: 2015-07-23
標籤:異常處理具體見:【循序漸進學Python】9.異常處理環境平台:Python2.7.9 + Win8.1本篇記錄一下自己寫爬蟲的遇到的問題,程式中批量擷取圖片地址,然後批量儲存。由於沒有設定網址開啟逾時,導致程式一直卡在哪裡,程式處於假死狀態。經查詢得知沒有對程式進行逾時處理,由於使用的是urllib模組的urlopen,無法直接添加timeout參數(註:python2.6之前的urllib2模組也無法添加timeout參數) 1 import socket2 import
Time of Update: 2015-07-23
標籤:廢話不多說直接祭上python3.3x的文檔:(原文連結) object.__hash__(self)Called by built-in function hash() and for operations on members of hashed collections including set, frozenset, and dict. __hash__() should return an integer. The only required property is