Time of Update: 2017-01-13
1.1. 前言這邊我們使用Python的M/R架構MRJob來分析.1.2. M/R步驟Mapper: 將以行資料解析成 key=hh value=1的形式Shuffle: 通過Shuffle後的結果會產生以 key 的值排序的 value迭代器結果如: 09 [1, 1, 1 ... 1, 1]Reduce: 在這邊我們計算出 09 這一小時的訪問量輸出如: 09 sum([1, 1, 1 ... 1, 1])1.3. 代碼cat mr_pv_hour.py# -*- coding: utf-
Time of Update: 2017-01-13
前言相信每位程式員應該都知道,在使用 Python 來寫背景工作時,時常需要使用輸出日誌來記錄程式啟動並執行狀態,並在發生錯誤時將錯誤的詳細資料儲存下來,以別調試和分析。Python 的 logging 模組就是這種情況下的好幫手。logging 模組可以指定日誌的層級,DEBUG、INFO、WARNING、ERROR、CRITICAL,例如可以在開發和調試時,把 DEBUG 以上層級的日誌都輸出,而在生產環境下,只輸出 INFO 層級。(如果不特別指定,預設層級是
Time of Update: 2017-01-13
Python PycURL 網路編程執行個體在使用urllib的時候經常會死掉,以前debug過,是沒有設定 timing out 所以逾時後就會死掉。PycURL是curl的python庫,雖然有些curl的功能沒有實現,但是還是很強勁的。curl是非常強勁的一個工具,google內部用它來 debug GDATA API. Using cURL to interact with Google data services可以去 http://pycurl.sourceforge.net/
Time of Update: 2017-01-13
今天在centos折騰python的適合需要一些組件,首先我們先下載下載python-pip的tar包:下載PIPwget https://pypi.python.org/packages/source/p/pip/pip-7.1.0.tar.gz --no-check-certificate 注意問題這裡如果沒有安裝setuptools是會出現錯誤(ImportError: No module named setuptools )的。具體可以參考下面方法解決 :wget https:
Time of Update: 2016-11-21
標籤:ibm_db db2 python 1、為什麼要離線安裝 沒網,在銀行工作,伺服器環境配置,完全離線(本來五分鐘搞定的事情,非要搞一天。我服!!)2、安裝步驟 1.下載ibm_db模組,https://pypi.python.org/pypi/ibm_db. 2.下載db2
Time of Update: 2017-01-12
標籤:pytho 文本 字串切割 頭腦風暴 適合 default 相似性 之間 重慶市 前言:前兩篇轉載別人的精彩文章,自己也總結一下吧!最近又開始用起py,是為什麼呢?自己要做一個文本相似性匹
Time of Update: 2017-01-01
標籤:python 命令列參數 click argparse argparse是python內建模組,用於快速建立命令列。有一個第三方模組Click也可以實現這個功能,兩者各有優缺點,看個人需求吧。官方網頁https://docs.python.org/3.5/library/argparse.html
Time of Update: 2016-12-24
標籤:配置 rda module 開始 核心 正則 gnu ups 物件導向 Vamei 出處:http://www.cnblogs.com/vamei
Time of Update: 2016-12-15
標籤:經典 傳回值 結束 ons range 返回 end 切片 之間 先從原理上分析切片運算:list的切片,內部是調用__getitem__,__setitem__,__delitem__和
Time of Update: 2016-12-12
標籤:imp 樣本 python outer bcs odi import 其他 callback 需求
Time of Update: 2016-12-06
標籤:bsp python iframe sel input cli webdriver 視窗 web 在 web 應用中經常會出現 iframe 嵌套的應用,假設頁面上有 A、B 兩個
Time of Update: 2016-11-24
標籤:compile pat 子目錄 path process env 多級 open 沒有 生產情況:tomcat下業務log備份,目錄分多級,然後對應目錄格式放到ftp上;所以,結構上
Time of Update: 2016-11-23
標籤:normal 自己實現 png (()) 集中 資料集 sdn shape second 1:神經網路演算法簡介2:Backpropagation演算法詳細介紹3:非線性轉化方程舉例4:自
Time of Update: 2016-11-19
標籤:部分 返回 ams count lang find print 多行 param 1.元字元([ ]),它用來指定一個character class。所謂character
Time of Update: 2016-12-08
Python 用底線作為變數首碼和尾碼指定特殊變數/方法。 主要存在四種情形 1. 1. object # public 2. __object__ # special, python system use, user should not define like it 3. __object # private (name mangling during runtime) 4. _object # obey python coding convention,
Time of Update: 2016-10-18
簡介在這篇文章中,我將向大家示範怎樣向一個通用計算機一樣解析並計算一個四則運算運算式。當我們結束的時候,我們將得到一個可以處理諸如 1+2*-(-3+2)/5.6+3樣式的運算式的計算機了。當然,你也可以將它拓展的更為強大。我本意是想提供一個簡單有趣的課程來講解 文法分析 和 正規文法(編譯原理內容)。同時,介紹一下 PlyPlus,這是一個我斷斷續續改進了好幾年的文法解析
Time of Update: 2016-12-14
詳解Python裝飾器由淺入深,詳解python由淺入深裝飾器的功能在很多語言中都有,名字也不盡相同,其實它體現的是一種設計模式,強調的是開放封閉原則,更多的用於後期功能更新而不是編寫新的代碼。裝飾器不光能裝飾函數,也能裝飾其他的對象,比如類,但通常,我們以裝飾函數為例子介紹其用法。要理解在Python中裝飾器的原理,需要一步一步來。本文盡量描述得淺顯易懂,從最基礎的內容講起。(註:以下使用Python3.5.1環境)一、Python的函數相關基礎第一,必須強調的是python是從上往下順序執行
Time of Update: 2016-11-26
Pyc 是什麼東東,Pyc東東在眾多語言中, 最終我們可以將語言分為編譯性語言和解釋性語言兩種編譯性語言,也就是機器語言, 是機器能讀的懂的語言, 像C語言, 其實進階語言都是基於C語言的基礎之上啟動並執行解釋性語言, 不同於編譯性語言,其在運行時逐行編譯,然後載運行,像java ,其第一步通過 javac 將其編譯為位元組碼, 然後才運行。像python這種語言, 首先是將代碼編譯為pyc 檔案(這種編譯過程對我們不可見) , 然後將pyc檔案交給解譯器去執行。Python
Time of Update: 2016-11-16
python 之淺拷貝與深拷貝(copy and
Time of Update: 2016-10-22
使用python實現簡訊PDU編碼,python簡訊pdu編碼前幾天入手一個3G模組,便倒騰了一下。需要發送中英文混合簡訊,所以採用PDU模式(不瞭解google ^_^)。最大問題當然就是拼接PDU編碼(python這麼強大,說不定有模組),果不其然找到一個smspdu模組(連結:https://pypi.python.org/pypi/smspdu)。但是測試發現產生的編碼和模組文檔要求有差別的,淚奔……但還是可以看一下源碼的實現方式的。剩下的就是自己加工一下。不羅嗦,上代碼:from