Time of Update: 2017-01-18
和 MongoDB 類似 RethinkDB 是一個主要用來儲存 JSON 文檔的資料庫引擎(MongoDB 儲存的是 BSON),可以輕鬆和多個節點連成分散式資料庫,非常好用的查詢語言以及支援表的 joins 和 group by 操作等。昨天試玩了一下 RethinkDB,在一台虛擬機器上測試,插入2500萬行記錄效能比較穩定,維持在 1.5K 行到 2K 行每秒之間,RethinkDB 的資料分區(sharding)功能非常簡單,一個點擊就可以完成。下面的安裝和測試在 Ubuntu 12.
Time of Update: 2017-01-18
Python入門教程FROM:http://www.cnblogs.com/taowen/articles/11239.aspx作者:taowen, billrice Lesson 1 準備好學習Python的環境 下載的地址是: www.python.org linux版本的我就不說了,因為如果你能夠使用linux並安裝好說明你可以一切自己搞定的。 運行環境可以是linux或者是windows: 1、linux
Time of Update: 2017-01-18
Regex對於Python來說並不是專屬的,最近在把google搜尋的結果中所有的網站地址匯出,於是想到用pythonRegex提取搜尋結果中的網站地址。這其中涉及幾個需要解決的問題:1、擷取搜尋的結果文本為了獲得更多的地址,我使用了Google的進階搜尋功能,每個頁面顯示100條結果。獲得顯示的結果後,可以查看源碼,並保持成文字檔就有了搜尋的結果文本2、分析如何提取網站資訊首先需要分析擷取的頁面,查看以怎樣的方式可以提取出網站資訊。我使用IE8內建的開發工具(按F12就會彈出來)中的探查器功能
Time of Update: 2017-01-18
一、前言在開發過程中,遇到了這樣一個情況:我們需要在指令碼中通過 suprocess.call 方法來啟動另外一個指令碼(指令碼 B),當然啦,還得傳遞一些參數。在這些參數中,有一個需要傳遞的是一個執行個體化後的對象。我們知道,通過命令列的方式傳遞參數是基於字元格式設定的,也就是說指令碼 B 只能接收到字串格式的參數,那麼如何接收啟動指令碼傳遞過來的執行個體化後的對象呢?今天就來聊聊我使用的兩種笨方法:使用 eval 以及使用 pickle 和 base64 模組。方法一:使用
Time of Update: 2017-01-18
複製代碼 代碼如下:#-*- coding:utf-8 -*- import threading import time def fun(name, ls_name, front_thread = None): ''''' 線程啟動函數 通過front_thread來使用線程有序的運行 ''' time.clock() time.sleep(2) # 如果front_thread存在,則在front_thread運行完成後,才運行當前線程 if front_thread != None:
Time of Update: 2017-01-18
1. 項目背景在python 即時網路爬蟲項目啟動說明中我們討論一個數字:程式員浪費在調測內容擷取規則上的時間,從而我們發起了這個項目,把程式員從繁瑣的調測規則中解放出來,投入到更高端的資料處理工作中。2. 解決方案為瞭解決這個問題,我們把影響通用性和工作效率的提取器隔離出來,描述了如下的資料處理流程圖:圖中“可插拔提取器”必須很強的模組化,那麼關鍵的介面有: 標準化的輸入:以標準的HTML DOM對象為輸入 標準化的內容提取:使用標準的xslt模板提取網頁內容
Time of Update: 2017-01-18
在我們日常上網瀏覽網頁的時候,經常會看到一些好看的圖片,我們就希望把這些圖片儲存下載,或者使用者用來做案頭壁紙,或者用來做設計的素材。我們最常規的做法就是通過滑鼠右鍵,選擇另存新檔。但有些圖片滑鼠右鍵的時候並沒有另存新檔選項,還有辦法就通過就是通過剪取工具截取下來,但這樣就降低圖片的清晰度。好吧~!其實你很厲害的,右鍵查看頁面原始碼。我們可以通過python
Time of Update: 2017-01-18
可以任意轉載,但轉載時必須標明原作者charlee、原始連結http://tech.idv2.com/2008/11/03/python-memo/以及本聲明。 基本概念Python居然支援複數。如(-5+4j)。但要注意虛數單位單獨使用時要寫成 1j,不能寫成 j。與Perl和PHP的區別:單引號和雙引號沒有任何區別。沒有插值功能。三引號:''' 和 """
Time of Update: 2017-01-18
解決思路首先想到的就是利用 python 的Regex來匹配非法字元,然後找出非法記錄。然而理想總是豐滿的,現實卻是殘酷的。在實現的過程中,才發現自己對於字元編碼、以及 python 內部字串表示的相關知識的缺乏。在這期間,踩過了不少坑,到最後雖然還有些模糊的地方,但總算有一個總體清晰的瞭解。在此記錄下心得,避免以後在同一個地方跌倒。以下的測試環境是 ArcGIS 10.3 內建的 python 2.7.8 環境,不保證其他 python 環境也適用。python Regexpython
Time of Update: 2017-01-18
所謂類屬性的延遲計算就是將類的屬性定義成一個property,只在訪問的時候才會計算,而且一旦被訪問後,結果將會被緩衝起來,不用每次都計算。優點構造一個延遲計算屬性的主要目的是為了提升效能實現class LazyProperty(object): def __init__(self, func): self.func = func def __get__(self, instance, owner): if instance is None: return self
Time of Update: 2017-01-18
首先來看一個小程式,這個是計量所花費時間的程式,以下是以往的解決樣本from functools import wraps, partialfrom time import timedef timing(func=None, frequencies=1): if func is None: # print("+None") return partial(timing, frequencies=frequencies) # else: # print("-None")
Time of Update: 2017-01-18
錯誤提示如下:其實這是一個挺常見的系統報錯,缺乏VC++庫。我安裝的是python3.5.2,這個版本需要的vc版本是2015的了,下載:Microsoft Visual C++ 2015安裝完後發現就正常了:總結通過以上的方法就能輕鬆解決首次安裝Python後運行報錯的問題,希望本文的內容對同樣遇到這個問題的朋友們能有所協助,如果有疑問大家可以留言交流,小編會儘快給大家回複。
Time of Update: 2017-01-18
最近在做Python 的項目,特地整理了下 Python 序列的方法。序列sequence是python中最基本的資料結構,本文先對序列做一個簡單的概括,之後簡單講解下所有序列都能通用的操作方法。任何序列都可以引用其中的元素(item).下面的內建函數(built-in function)可用於列表(表,定值表,字串)#s為一個序列 len(s) 返回: 序列中包含元素的個數
Time of Update: 2017-01-18
一、服務端(Server.py) 服務端要做的事情是: 1. 建立一個Socket對象Code highlighting produced by Actipro CodeHighlighter
Time of Update: 2017-01-18
比如下面的例子:class Book(object): def __setattr__(self, name, value): if name == 'value': object.__setattr__(self, name, value - 1
Time of Update: 2017-01-18
複製代碼 代碼如下:mulLine = """Hello!!! Wellcome to Python's world! There are a lot of interesting things! Enjoy yourself. Thank you!""" print ''.join(mulLine.splitlines()) print '------------' print ''.join(mulLine.splitlines(True)) 輸出結果: Hello!!! Wellcome
Time of Update: 2017-01-18
在 Python 搭建Web網站之Web伺服器與Web架構 中我們弄清楚了Web 服務器、Web 應用程式、Web架構的概念。對於 Python 來說,越來越多的 Web 架構面世,在給我們更多選擇機會的同時,也限制了我們對於 Web Server 的選擇。同樣是有著很多 Web 架構的Java,因為有著 servlet API 的存在,任何Java Web架構寫的應用程式都可以運行在任意一個 Web Server 上。Python 社區當然也需要這樣一套 API,來適配Web伺服器和應用程式,
Time of Update: 2017-01-18
之前用 Django 做過一個小的網站,感覺Django太過笨重,於是就準備換一個比較輕量級的 Web 架構來玩玩。Web.py 作者已經掛掉,項目好久沒有更新,所以不準備用它。而 Flask 也是一個成熟的輕量級 Web 架構,在 github 上有眾多的 Star 和 Fork,文檔和擴充也很豐富,值得學習。學習一個架構最好的方式就是用架構做一個項目,在實戰中理解掌握架構。這裡我用 Flask 架構,使用 Mysql 資料庫做了一個 論壇系統
Time of Update: 2017-01-18
實際效果:假設給定目錄"/media/data/programmer/project/python" ,備份路徑"/home/diegoyun/backup/“ , 則會將python目錄下的檔案按照全路經備份到備份路徑下,形如:/home/diegoyun/backup/yyyymmddHHMMSS/python/xxx/yyy/zzz.....複製代碼 代碼如下:import os import shutil import datetime
Time of Update: 2017-01-18
背景中秋的時候,一個朋友給我發了一封郵件,說他在爬鏈家的時候,發現網頁返回的代碼都是亂碼,讓我幫他參謀參謀(中秋加班,真是敬業= =!),其實這個問題我很早就遇到過,之前在爬小說的時候稍微看了一下,不過沒當回事,其實這個問題就是對編碼的理解不到位導致的。問題很普通的一個爬蟲代碼,代碼是這樣的:# ecoding=utf-8import reimport requestsimport sysreload(sys)sys.setdefaultencoding('utf8')url = 'http:/