Python

本文執行個體講述了Python使用scrapy採集時偽裝成HTTP/1.1的方法。分享給大家供大家參考。具體如下：添加下面的代碼到 settings.py 檔案 代碼如下:DOWNLOADER_HTTPCLIENTFACTORY = 'myproject.downloader.HTTPClientFactory'儲存以下代碼到單獨的.py檔案 代碼如下:from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory,

（一）什麼是json：JSON(JavaScript Object Notation) 是一種輕量級的資料交換格式。易於人閱讀和編寫。同時也易於機器解析和產生。它基於JavaScript Programming Language, Standard ECMA-262 3rd Edition - December 1999的一個子集。JSON採用完全獨立於語言的文字格式設定，但是也使用了類似於C語言家族的習慣（包括C, C++, C#, Java, JavaScript, Perl,

AES(英文：Advanced Encryption Standard，中文：進階加密標準)，是一種區塊加密標準。AES將未經處理資料分成多個4×4位元組矩陣來處理，通過預先定義的金鑰組每個位元組矩陣中的每個位元組進行異或、替換、移位以及線性變換操作來達到加密的目的。密鑰長度可以是128，192或256位元。 下面是一個利用Python M2Crypto庫，並使用aes_128_ecb演算法進行加密和解密的例子。首先介紹一下幾個關鍵的點：1、iv(Initialization

bsddb模組是用來操作bdb的模組，bdb是著名的Berkeley DB，它的效能非常好，mysql的儲存後端引擎都支援bdb的方式。這裡簡單介紹一些關於bsddb的使用方法。bdb不同於一般的關聯式資料庫，它儲存的資料只能是以key和value組成的一對資料，使用就像python的字典一樣，它不能直接表示多個欄位，當要儲存多個欄位的資料時，只能把資料作為一個整體存放到value中。使用bsddb面臨的第一問題是使用什麼資料存取方法，bdb支援四種：btree, hash, queue,

使用 Simple Protocolasyncio.BaseProtocol 類是asyncio模組中協議介面(protocol interface)的一個常見的基類。asyncio.Protocolclass 繼承自asyncio.BaseProtocol 並為stream protocols提供了一個介面。下面的代碼示範了asyncio.Protocol 介面的一個簡單實現，它的行為1就像一個echo

本文執行個體講述了Python遍曆zip檔案輸出名稱時出現亂碼問題的解決方案。分享給大家供大家參考。具體如下：windows中使用python2.7遍曆zip檔案之後輸出檔案名等資訊，console列印的中文及一些標點出現亂碼。查了一下網上說的windows的編碼為cp936，print()函數交給系統處理列印，所以要提前編碼成windows能夠識別的編碼。這種print的亂碼也會出現在形如print(mylist)中（mylist是python的list類型變數，print(mylist[2]

內建方法 說明 __init__(self,...) 初始化對象，在建立新對象時調用 __del__(self) 釋放對象，在對象被刪除之前調用 __new__(cls,*args,**kwd) 執行個體的產生操作 __str__(self) 在使用print語句時被調用 __getitem__(self,key) 擷取序列的索引key對應的值，等價於seq[key] __len__(self) 在調用內嵌函式len()時被調用 __cmp__(stc,dst) 比較兩個對象src和dst __

本文執行個體講述了Python使用scrapy採集資料時為每個請求隨機分配user-agent的方法。分享給大家供大家參考。具體分析如下：通過這個方法可以每次請求更換不同的user-agent，防止網站根據user-agent屏蔽scrapy的蜘蛛首先將下面的代碼添加到settings.py檔案，替換預設的user-agent處理模組 代碼如下:DOWNLOADER_MIDDLEWARES = {

本文執行個體分析了Python字串和檔案操作常用函數。分享給大家供大家參考。具體如下：# -*- coding: UTF-8 -*-'''Created on 2010-12-27@author: sumory'''import itertoolsdef a_containsAnyOf_b(seq,aset): '''判斷seq中是否含有aset裡的一個或者多個項 seq可以是字串或者列表 aset應該是字串或者列表''' for item in

python是支援多線程的，並且是native的線程。主要是通過thread和threading這兩個模組來實現的。thread是比較底層的模組，threading是對thread做了一些封裝的，可以更加方便的被使用。這裡需要提一下的是python對線程的支援還不夠完善，不能利用多CPU，但是下個版本的python中已經考慮改進這點，讓我們拭目以待吧。

協同過濾在 使用者 —— 物品（user - item）的資料關係下很容易收集到一些偏好資訊（preference），比如評分。利用這些分散的偏好資訊，基於其背後可能存在的關聯性，來為使用者推薦物品的方法，便是協同過濾，或稱協作型過濾（collaborative filtering）。這種過濾演算法的有效性基礎在於： 使用者的偏好具有相似性，即使用者是可分類的。這種分類的特徵越明顯，推薦的準確率就越高

Docker

Elasticsearch是一個分布式、Restful的搜尋及分析伺服器，Apache Solr一樣，它也是基於Lucence的索引伺服器，但我認為Elasticsearch對比Solr的優點在於： 輕量級：安裝啟動方便，下載檔案之後一條命令就可以啟動； Schema free：可以向伺服器提交任意結構的JSON對象，Solr中使用schema.xml指定了索引結構； 多索引檔案支援：使用不同的index參數就能建立另一個索引檔案，Solr中需要另行配置；

本文執行個體講述了python單例模式。分享給大家供大家參考。具體分析如下：__new__()在__init__()之前被調用，用於產生執行個體對象。利用這個方法和類的屬性的特點可以實現設計模式的單例模式。單例模式是指建立唯一對象，單例模式設計的類只能執行個體化1個對象。 class Singleton(object): __instance=None def__init__(self): pass def__new__(cls,*args,**kwd): if

本文執行個體講述了Python匯入txt資料到mysql的方法。分享給大家供大家參考。具體分析如下：從TXT文本轉換資料到MYSQL資料庫，接觸一段時間python了 第一次寫東西 用的是Python2.7#!/usr/bin/python#coding=utf-8import _mysql,sys,iodef addCity(prov,city,tel,post): try: conn=_mysql.connect("192.168.1.99",'php','php');

mysql是一個優秀的開來源資料庫，它現在的應用非常的廣泛，因此很有必要簡單的介紹一下用python操作mysql資料庫的方法。python操作資料庫需要安裝一個第三方的模組，在http://mysql-python.sourceforge.net/有下載和文檔。由於python的資料庫模組有專門的資料庫模組的規範，所以，其實不管使用哪種資料庫的方法都大同小異的，這裡就給出一段示範的代碼：#-*- encoding: gb2312 -*-import os, sys, stringimport

本文執行個體講述了python複製與引用用法。分享給大家供大家參考。具體分析如下：簡單複製是引用a=[1,23,4]b=a #這是引用b.append(2323)print(a,b) #([1, 23, 4, 2323], [1, 23, 4, 2323])使用copy.copy進行淺拷貝import copyc=copy.copy(b)#拷貝c.append(1)print(b,c)#([1, 23, 4, 2323], [1, 23, 4, 2323, 1])list1=[['a'],[1,

之前遇到一個情境是這樣的：我在自己的電腦上需要用mongodb圖形用戶端，但是mongodb的伺服器位址沒有對外網開放，只能通過先登入主機A，然後再從A串連mongodb伺服器B。本來想通過ssh連接埠轉寄的，但是我沒有從機器A串連ssh到B的許可權。於是就自己用python寫一個。 原理很簡單。1.開一個socket

字串是Python中最常用的資料類型，而且很多時候你會用到一些不屬於標準ASCII字元集的字元，這時候代碼就很可能拋出UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 10: ordinal not in

Docker 現在Docker是地球上最炙手可熱的項目之一，就意味著人民實際上不僅僅是因為這個才喜歡它。話雖如此，我非常喜歡使用容器，服務發現以及所有被創造出的新趣的點子和領域來切換工作作為範例。這個文章中我會簡要介紹使用python中的docker-py模組來操作Docker 容器，這裡會使用我喜愛的編程工具IPython。安裝docker-py首先需要docker-py。注意這裡的案例中我將會使用Ubuntu Trusty 14.04版本。$ pip install docker-