Python

1.1. 前言這邊我們使用Python的M/R架構MRJob來分析.1.2. M/R步驟Mapper: 將以行資料解析成 key=hh value=1的形式Shuffle: 通過Shuffle後的結果會產生以 key 的值排序的 value迭代器結果如: 09 [1, 1, 1 ... 1, 1]Reduce: 在這邊我們計算出 09 這一小時的訪問量輸出如: 09 sum([1, 1, 1 ... 1, 1])1.3. 代碼cat mr_pv_hour.py# -*- coding: utf-

python中的很多模組是非常牛X的，之前提到過logging模組(其功能類似於java下的Log4j )，由於最近一個涉及網路排障的指令碼需要日誌輸出，這裡就使用了python的logging模組去實現。日誌全部寫到一個檔案中時，隨著時間的推移檔案會越來越來，這裡可以利用TimedRotatingFileHandler方法或RotatingFileHandler方法來進行處理。在日誌輸出不涉及輪轉的時候，可以通過logging.basicConfig

1. Oracle用戶端程式安裝1.1．系統說明作業系統: CentOS 5.111.2．下載軟體需要安裝oracle 用戶端程式包含下列3個程式1) oracle-instantclient11.2-basic-11.2.0.4.0-1.x86_64.rpm2) oracle-instantclient11.2-devel-11.2.0.4.0-1.x86_64.rpm3)

用Python 擷取圖片的Base64編碼，原始碼如下：  代碼如下複製代碼 #!/usr/bin/env python# -*- coding: utf-8 -*-'''# base64-pic.py'''import os, base64icon = open('ya.png','rb')iconData = icon.read()iconData = base64.b64encode(iconData)LIMIT = 60liIcon = []while

Python 字串格式化使用 "字元 %格式1 %格式2 字元"%(變數1,變數2)，%格式表示接受變數的類型。簡單的使用例子如下# 例：字串格式化Name = '17jo'  print 'www.%s.com'%Name  >> www.111cn.netName = '17jo'Zone = 'com'print 'www.%s.%s'%(Name,Zone)>>

今天在centos折騰python的適合需要一些組件，首先我們先下載下載python-pip的tar包：下載PIPwget https://pypi.python.org/packages/source/p/pip/pip-7.1.0.tar.gz --no-check-certificate 注意問題這裡如果沒有安裝setuptools是會出現錯誤（ImportError: No module named setuptools ）的。具體可以參考下面方法解決　：wget https:

語言的記憶體管理是語言設計的一個重要方面。它是決定語言效能的重要因素。無論是C語言的手工管理，還是Java的記憶體回收，都成為語言最重要的特徵。這裡以Python語言為例子，說明一門動態類型的、物件導向的語言的記憶體管理方式。對象的記憶體使用量指派陳述式是語言最常見的功能了。但即使是最簡單的指派陳述式，也可以很有內涵。Python的指派陳述式就很值得研究。a =

標籤：python   命令列參數   click   argparse    argparse是python內建模組，用於快速建立命令列。有一個第三方模組Click也可以實現這個功能，兩者各有優缺點，看個人需求吧。官方網頁https://docs.python.org/3.5/library/argparse.html

標籤：python   from   nbsp   使用   屬性   匯入模組   模組   函數   子模組   在python中import跟from import都是用來匯入的，但是匯入的機制不同1、import xxx：

Python程式設計語言Python 是一種物件導向、解釋型電腦程式設計語言，由Guido van

本文詳細介紹了使用shell去除檔案中的空行的方法，學習下sed、awk、shell檔案檢測的方法，有需要的朋友可以作個參考。本節內容：shell去掉檔案中空行1，shell 去掉檔案中的空行 cat filename | sed -e '/^$/d' > filename2，保留最新的9個檔案，其它的檔案刪除的命令語句ls -t | awk '{if(NR>9){print $0}}' |xargs rm

Python 截取字串使用 變數[頭下標:尾下標]，就可以截取相應的字串，其中下標是從0開始算起，可以是正數或負數，下標可以為空白表示取到頭或尾。# 例1：字串截取str = '12345678'print str[0:1]>> 1 # 輸出str位置0開始到位置1以前的字元print str[1:6] >> 23456 # 輸出str位置1開始到位置6以前的字元num = 18str = '0000' + str(num) #

python 實現刪除檔案或檔案夾 最近自己學習Python 的知識，自己學習抓取網頁的內容知識等，在學習的時候Python 刪除檔案夾或者檔案知識的時候，覺得本篇內容不錯，推薦給大家。執行個體代碼，仔細看注釋明細：#-*- coding: UTF-8 -*- # 有時候要刪除檔案夾裡檔案或檔案夾 # 這個小類用來刪除檔案或檔案夾還是相當有用的 # 刪除檔案時有時希看到刪除的結果，於是就有了這個Deleter了 # 下面的一些檔案注釋用的是Doxygen的樣式 #

Python實現檔案的全備份和差異備份之前有寫利用md5方式來做差異備份，但是這種md5方式來寫存在以下問題：md5sum擷取有些軟串連的MD5值存在問題不支援對空目錄進行備份，因為md5sum無法擷取空目錄的md5值許可權的修改md5sum無法判斷解決方案：利用檔案的mtime ctimemtime（Modified time）是在寫入檔案時隨檔案內容的更改而更改的ctime（Create

Python守護進程和指令碼單例運行詳解，python守護進程本篇文章主要介紹了Python守護進程和指令碼單例運行，小編覺得挺不錯的，現在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧一、簡介守護進程最重要的特性是後台運行；它必須與其運行前的環境隔離開來，這些環境包括未關閉的檔案描述符、控制終端、會話和進程組、工作目錄以及檔案建立掩碼等；它可以在系統啟動時從啟動指令碼/etc/rc.d中啟動，可以由inetd守護進程啟動，也可以有作業規划進程crond啟動，還可以由使用者終端（通常是sh

Python網路爬蟲出現亂碼問題的解決方案，python爬蟲關於爬蟲亂碼有很多各式各樣的問題，這裡不僅是中文亂碼，編碼轉換、還包括一些如日文、韓文 、俄文、藏文之類的亂碼處理，因為解決方式是一致的，故在此統一說明。網路爬蟲出現亂碼的原因源網頁編碼和爬取下來後的編碼格式不一致。如源網頁為gbk編碼的位元組流，而我們抓取下後程式直接使用utf-8進行編碼並輸出到隱藏檔中，這必然會引起亂碼 即當源網頁編碼和抓取下來後程式直接使用處理編碼一致時，則不會出現亂碼;

利用Python中unittest實現簡單的單元測試執行個體詳解，pythonunittest前言單元測試的重要性就不多說了，可惡的是Python中有太多的單元測試架構和工具，什麼unittest, testtools, subunit, coverage, testrepository, nose, mox, mock, fixtures, discover，再加上setuptools,

python實現應用程式在右鍵菜單中添加開啟檔案功能，python右鍵菜單最近項目組開發的一個小工具想要在右鍵菜單中添加開啟檔案，以有道雲筆記為例進行了需求拆解和代碼編寫1.需求拆解：如何?手動添加右鍵菜單的開啟檔案：Step1：開啟登錄編輯程式，Win+R->輸入 “regedit”Step2：在HKEY_CLASSES_ROOT/*/shell (或者HKEY_LOCAL_MACHINE/SOFTWARE/Classes/*/shell ，兩個目錄是一樣的)

Python爬蟲利用cookie實現類比登陸執行個體詳解，pythoncookieCookie，指某些網站為了辨別使用者身份、進行session跟蹤而儲存在使用者本地終端上的資料（通常經過加密）。舉個例子，某些網站是需要登入後才能得到你想要的資訊的，不登陸只能是遊客模式，那麼我們可以利用Urllib2庫儲存我們以前登入過的Cookie，之後載入cookie擷取我們想要的頁面，然後再進行抓取。理解cookie主要是為我們快捷類比登入抓取目標網頁做出準備。我之前的文章中使用過urlopen()這個函

python用模組zlib壓縮與解壓字串和檔案的方法，python中zlib模組是用來壓縮或者解壓縮資料，以便儲存和傳輸。它是其他壓縮公用程式的基礎。下面來一起看看python用模組zlib壓縮與解壓字串和檔案的方法。話不多說，直接來看範例程式碼。例子1：壓縮與解壓字串import zlibmessage = 'abcd1234'compressed = zlib.compress(message)decompressed = zlib.decompress(compressed)print '