Time of Update: 2018-07-24
第一天重拾信心開始學習爬蟲。這是看了簡書一位作者的文章感覺很詳細,參照人家的文章自己跑了一遍。 原文連結為:http://www.jianshu.com/p/23070977f63c 首先安裝好bs4, import urllib.request>>> import chardet>>> from bs4 import
Time of Update: 2018-07-24
super 是用來解決多重繼承問題的,直接用類名調用父類方法在使用單繼承的時候沒問題,但是如果使用多繼承,會涉及到尋找順序(MRO)、重複調用(鑽石繼承)等種種問題。總之前人留下的經驗就是:保持一致性。要不全部用類名調用父類,要不就全部用 super,不要一半一半。 普通繼承 『代碼』 [python] view plain copy
Time of Update: 2018-07-24
資料視覺效果是金融、財務、其它統計等工作的重要部分。在項目的早期階段,我們通常需要進行探索性資料分析來獲得對資料的洞察。通過Python資料視覺效果可以讓該過程變得更加清晰易懂,尤其是在處理大規模、高維度資料集時。 Matplotlib 是一個很流行的 Python 庫,可以協助你快速方便地構建資料視覺效果圖表。然而,每次啟動一個新項目時都需要重新設定資料、參數、圖形和繪圖方式是非常枯燥無聊的。
Time of Update: 2018-07-24
大資料如今在國家的大力支援下,越來越火熱,吸引了大批人員學習,學好了如何去應聘職位呢。面試是一門學問,如何面試成功。面試到底有何奧秘。不妨看一下我給出的建議(均為經驗之談)。當然是要有足夠的技術功底去面試,能夠做好面試題,下面小編就透露16個最經典的Python面試題給你們。 在這裡還是要推薦下我自己建的Python開發學習群:483546416,群裡都是學Python開發的,如果你正在學習Python
Time of Update: 2018-07-24
根據官方文檔(http://www.python-requests.org/en/master/)介紹,Requests允許自動發送HTTP請求,而不需要手動在URL地址中添加查詢字串或對要提交的資料手動編碼。Requests可以保持時刻線上和HTTP串連池自動化,最新版的Requests中已經內嵌urllib3,可以很方便地進行資料擷取和處理。 1.Requests基礎介紹 首先以github為例,簡單展示下怎麼通過Requests擷取使用者資訊
Time of Update: 2018-07-24
http://www.360doc.com/content/16/1020/23/8456313_600090952.shtml 推薦:一個基於Tornado/mongodb/redis的社區系統。 https://github.com/phith0n/Minos 推薦: 如何寫出pythonic的代碼 :http://blog.csdn.net/qq_37267015/article/details/71308203 《編寫高品質代碼--改善python程式的91個建議》
Time of Update: 2018-07-24
django_forum This is a small and simple forum which uses the Django Framework (written in Python language). 這是一個基於django的小型論壇系統 這是個基於 Python django 的小型論壇系統 本系統實現了一般論壇的主要功能,包括髮帖,評論,評論回複,評論通知,加好友,好友訊息,訊息通知,簡單積分規則。 由於作者的前台技術不咋的,所以前台頁面隨便找了兩個模版套上,
Time of Update: 2018-07-24
第一次用selenium爬取黑名單資料,但是不夠自動化,頁面總長和每頁有多少條記錄都是手動設定變數添加的,很不智能。 這次代碼改進了一下內容: (1)把頁碼有關的資訊切出來,自動擷取頁數 (2)尋找每頁有多少記錄 (3)利用兩個list儲存資料,更好維護 (4)利用css_selector擷取資料,並且改了 (5)寫成了函數,更加規範 (6)拋出異常 (7)timeout的問題,原來設定了30,後來timeout拋出了異常,改為120
Time of Update: 2018-07-24
敏感詞過濾的經典演算法DFA ,做了評估實驗 先上代碼 [python] view plain copy #!/usr/bin/python2.6 # -*- coding: utf-8 -*-
Time of Update: 2018-07-24
‘python’ 不是內部或外部命令,也不是可啟動並執行程式或批次檔。 我將python安裝在D盤之後,輸入python,顯示如下問題 D:\>python'python' 不是內部或外部命令,也不是可啟動並執行程式或批次檔。 這個問題本質其實就是,windows的cmd並不能識別python這個符號(即無法識別這個符號是一個可執行程式),因為windows這裡也是類似的,遇到一個字元,先會在預設path路徑查詢這個符號是不是一個可執行程式
Time of Update: 2018-07-24
兩次遇到這個問題,第一次是沒有加入環境變數,第二次是檔案夾內沒有pip.exe這個檔案 所以遇到這個問題要先確定python\Scripts的檔案夾下是否存在pip.exe (1)如果存在,則將Scripts這個檔案目錄加入環境變數,具體方法:這台電腦——右鍵“屬性”——進階系統設定——環境變數——path——編輯——將檔案目錄粘進去就OK了 (2)如果不存在,windows 的是先安裝 easy_install ,然後通過easy_install
Time of Update: 2018-07-24
已經安裝了python,但是在dos視窗中運行python命令卻提示“python不是內部命令或外部命令,也不是可啟動並執行程式”。 原因:環境變數中未給path添加值。 解決辦法1(推薦):開啟環境變數,在系統變數中的path變數內添加你的python安裝路徑,例如我是以下路徑:D:\install\python3.6,注意用分好隔開,末尾不需要分號;然後重啟dos視窗,不需要重啟電腦,再運行python即可。
Time of Update: 2018-07-24
第 0007 題:有個目錄,裡面是你自己寫過的程式,統計一下你寫過多少行代碼。包括空行和注釋,但是要分別列出來。 思路:擷取目錄,然後遍曆目錄下的代碼檔案,逐個統計每個檔案的代碼,然後最後匯總輸出。 0007.統計代碼.py #!/usr/bin/env python#coding: utf-8import os, re# 代碼所在目錄FILE_PATH = '/home/bill/Desktop/github/show-me-the-code'def
Time of Update: 2018-07-24
小豬短租是一個租房網站,上面有很多優質的民宿出租資訊,下面我們以成都地區的租房資訊為例,來嘗試爬取這些資料。 小豬短租(成都)頁面:http://cd.xiaozhu.com/ 1.爬取租房標題 按照慣例,先來爬下標題試試水,找到標題,複製xpath。 多複製幾個房屋的標題 xpath 進行對比:
Time of Update: 2018-07-24
最近在研究股票資料回測(其實想做量化交易),但是能直接提供資料的API都不太穩定(tushare逾時,雅虎的要修複才能用,也不太穩定) #雅虎股票資料API的修複包 from pandas_datareader import data as pdr import fix_yahoo_finance 最後還是打算自己學習下python的爬蟲,很早就聽說過py爬蟲的大名,嘗試了下 我覺得OK。 import requestsfrom bs4 import
Time of Update: 2018-07-24
轉自:http://www.cnblogs.com/yizhenfeng168/p/7078480.html 本文根據RFC2616(HTTP/1.1規範),參考 http://www.w3.org/Protocols/rfc2068/rfc2068 http://www.w3.org/Protocols/rfc2616/rfc2616 http://www.ietf.org/rfc/rfc3229.txt
Time of Update: 2018-07-24
之前在魚C論壇的時候,看到很多人都在用Python寫爬蟲爬煎蛋網的妹子圖,當時我也寫過,爬了很多的妹子圖片。後來煎蛋網把妹子圖的網頁改進了,對圖片的地址進行了加密,所以論壇裡面的人經常有人問怎麼請求的頁面沒有連結。這篇文章就來說一下煎蛋網OOXX妹子圖的連結擷取方式。 首先說明一下,之前煎蛋網之所以增加了反爬蟲機制,應該就是因為有太多的人去爬他們的網站了。爬蟲頻繁的訪問網站會給網站帶來壓力,所以,建議大家寫爬蟲簡單的運行成功就適可而止,不要過分地去爬別人的東西。 爬蟲思路分析
Time of Update: 2018-07-24
利用Numpy,python可以進行有效科學計算。本文給過去常用matlab,現在正學習Numpy的人。 在進行矩陣運算等操作時,使用array還是matrix?? 簡短的回答,更多的時候使用array.使用array的唯一缺點就是你必須使用’dot’函數來代替*來進行矩陣乘法。 array matrix 可以超過2維 只能2維
Time of Update: 2018-07-24
使用Pygal類比擲骰子 Pygal官網:http://www.pygal.org/ 建立一個Die類from random import randintclass Die():"""表示一個骰子的類"""def __init__(self,num_sides = 6):"""骰子預設為6面"""self.num_sides = num_sidesdef
Time of Update: 2018-07-24
http://lists.unbit.it/pipermail/uwsgi/2012-April/004089.html > I have a web application written in Flask. At startup it spawns a> background thread and waits on a threading.Event for the background thread> to initialise before