python抓取安居客小區資料的程式碼

某功能需要一套城市所有小區的位置資訊資料,一開始是使用的百度地圖api來進行關鍵詞搜尋,勉強能用,但資料量非常少,還是有大量的社區/小區搜不到。周末在家上網時發現安居客上直接就有每個城市的小區大全,欣喜若狂,於是就立即寫了個爬蟲試試。以下貼代碼,python2.7,lxml+request庫。#coding=utf-8#author : zx#date   : 2015/07/27import requestsimport&n

sphinx將python的注釋產生文檔例子

安裝sudo pip install sphinx初始化進入你代碼所在的目錄,輸入以下內容sphinx-quickstart會出來一系列要選填的東西,按照我的填入就可以了Welcome to the Sphinx 1.2.3 quickstart utility.Please enter values for the following settings (just press Enter toaccept a default value, if one is given in

Python socket類比TCP通訊執行個體

對於TCP server端的建立而言,分為如下幾個步驟:建立socket對象(socket):其中兩個參數分別為Address

Python控制windows加域的樣本

剛寫完,還沒來得及測試,依賴的是netdom,如需要軟體包,可留言  代碼如下複製代碼 import pythoncomimport wmiimport osimport platformdef joinDomain(domain,username,password,dns):if not domain or not username or not password or not dns:return False# change the work

Python Markdown 做文法限制

之前我用的Markdown2,不為什麼,隨便挑的,前兩天我在SegmentFault上提了一個問題:Python中的Markdown和Markdown2有何區別?,據說Misaka很快,因為是CPython,試了下,沒太大感覺,我要的是簡單,效能暫時還沒考慮在之中。通過markdown的Extension來del掉指定的文法就行了,如下:  代碼如下複製代碼 import markdownclass MyMarkdownExtension(markdown.Extension)

python運算子和運算式學習筆記

python中也並沒有++ — ===之類運算子,&& || !只能用not and all來表示,但有+= -=…之類下面的操作均基於python3.3.以後文中不特殊說明均於3.3的結果算術運算子>>> 17%65>>> 17/62.8333333333333335>>> 3**327>>> 3**327>>> a33 = 3**4>>>

Python中has_key的錯誤調試分析

今晚像往常一樣開啟Aptana寫Python程式時,一個has_key調用報錯了,代碼如下:  代碼如下複製代碼 info = {} info.has_key("key")控制台:Traceback (most recent call last):   File "D:\workspace\aptana\test\main.py", line 8, in <module>    

python遍曆目錄檔案指令碼的樣本

例子自己寫的一個Python遍曆檔案指令碼,對查到的檔案進行特定的處理。沒啥技術含量,但是也記錄一下吧。  代碼如下 複製代碼 #!/usr/bin/python # -*- coding: utf-8 -*- import sys import os

Python解壓zip檔案的例子

 代碼如下複製代碼 #!/usr/bin/python#-*-coding:cp936 -*-import osimport zipfiledef unzip(infile,targetDir):    if not os.path.exists(infile):        return False    if not os.path.isdir(

python的multiprocessing多進程通訊的pipe和queue介紹

這兩天溫故了python的multiprocessing多進程模組,看到的pipe和queue這兩種ipc方式,啥事ipc? ipc就是進程間的通訊模式,常用的一半是socke,rpc,pipe和訊息佇列等。 今個就再把pipe和queue搞搞。  代碼如下複製代碼 #coding:utf-8import multiprocessingimport time def proc1(pipe):    while

python扒取糗百網頁的例子

 代碼如下複製代碼 #!/usr/bin/env python#-*-encoding=utf-8 -*-import urllib2import reURL = 'http://www.qiushibaike.com/hot/page/'#first = re.compile(r'<div class="content"[^>]*>.*?(?=</div>)')first = re.compile(r'<div

python非同步任務celery異常崩潰時retry重試解決

python下的celery是啥東西大家應該有瞭解,是一個非同步任務架構 。話說,  我以前寫過一個警示平台的項目,也需要任務的擴充成分布式,當時總是覺得 用celery不是那麼太靠譜,所以就自己寫了一個分布式的任務派發的系統。 今個和朋友聊起了分布式爬蟲,這哥們說 任務有時候經常的崩潰,但是celery的retry的機制有些意思,最後看了下文檔  ,又研究了下retry的參數,然後把自己的一些實戰分享給大家。  代碼如下複製代碼

Python學習筆記之自訂函數

Python 是一種物件導向、直譯式電腦程式設計語言。Python文法簡潔而清晰,具有豐富和強大的類庫。它常被暱稱為膠水語言,它能夠很輕鬆的把用其他語言製作的各種模組(尤其是C/C++)輕鬆地連接在一起。常見的一種應用情形是,使用python快速產生程式的原型(有時甚至是程式的最終介面),然後對其中有特別要求的部分,用更合適的語言改寫,比如3D遊戲中的圖形渲染模組,速度要求非常高,就可以用C++重寫。 def

Python用rpc實現分布式系統調用的原理及執行個體

rpc概念?rpc 一般俗稱,遠端程序呼叫,把本地的函數,放到遠端去調用。通常我們調用一個方法,譬如: sumadd(10, 20),sumadd方法的具體實現要麼是使用者自己定義,要麼存在於該語言的庫函數中,也就說在sumadd方法的代碼實現在本地,它是一個本地調用!“遠程調用”意思就是:被呼叫者法的具體實現不在程式運行本地,而是在別的某個地方(分布到各個伺服器),但是用起來像是在本地。rpc遠程調用原理 :比如

多台伺服器遠程互動的Python庫 Fabric 介紹

這兩天,偶爾再次看了遍這篇文章,並且對Fabric感興趣,或許我管理一些伺服器時也許還能用得上,所以花了點時間簡單瞭解了一下Fabric。首先,Fabric是什麼呢? Fabric是一個Python庫和命令列工具,它可以將使用SSH操作的應用部署或系統管理任務更加地高效(流水線化)。Fabric is a Python (2.5 or higher) library and command-line tool for streamlining the use of SSH for

python模組PycURL執行個體講解

在Linux上有個常用的命令 curl(非常好用),支援curl的就是大名鼎鼎的libcurl庫;libcurl是功能強大的,而且是非常高效的函數庫。libcurl除了提供本身的C API之外,還有多達40種程式設計語言的Binding,這裡介紹的PycURL就是libcurl的Python

Python easy_install使用時提示 Entry point (‘console_scripts’, ‘easy_install’) not found

在一些Linux機器上用easy_install安裝MySQLdb時,遇到的問題,使用web.py做幾個RESTful API和幾個網頁,與MySQL互動是需要用MySQLdb這個Python庫,當使用“sudo easy_install MySQL-python”命令安裝MySQLdb時,提示“Please install a more recent version first, using ‘easy_install -U

windows下安裝配置python開發環境及Ulipad開發工具

最近開始學習Python,在網上尋找一下比較好的IDE.因為以產用C#做開發的,用Visual Studio作為IDE,鑒於用慣了VS這麼強大的IDE,所以對IDE有一定的依賴性.Python的IDE也有不少,網上也有很多介紹. 我自己選擇了國產 Python IDE:UliPad.這個IDE本身就是用 Python+wxPython編寫的,小巧,功能全,特別適合Python初學者。這是 Ulipad 下載地址:http://code.google.com/p/ulipad/downloads/

centos下安裝python常用版本的方法

安裝python2.7.3  代碼如下複製代碼 wget -c http://python.org/ftp/python/2.7.3/Python-2.7.3.tgztar zxvf Python-2.7.3.tgzcd Python-2.7.3./configuremake && make installmv /usr/bin/python /usr/bin/python_bakln -s /usr/local/bin/python

linux下Python環境安裝配置步驟

安裝python2.7wget https://www.Python.org/ftp/Python/2.7.8/Python-2.7.8.tgztar xvf Python-2.7.8.tgzcd Python-2.7.8./configure –prefix=/usr/local/python27makemake installmv /usr/bin/python /usr/bin/python_oldln -s /usr/local/python27/bin/python

總頁數: 2974 1 .... 2338 2339 2340 2341 2342 .... 2974 Go to: 前往

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.