Time of Update: 2017-02-27
1.需求使用hvie server一段時間後,業務部門需要自己不定時的查詢業務資料,之前這一塊都是他們提需求我們來做,後來發現這樣重複一樣的工作放在我們這邊做是在沒有效率,遂提出給他們工具或者web UI自助查詢,當然hive有自己的hwi可以通過網頁UI進行自助查詢,但是這對不懂sql的業務人員有點不太友好,目前有沒時間去修改hwi的UI,所以還是給他們提供查詢工具吧。我這邊主要使用python
Time of Update: 2017-02-27
在軟體設計裡,代碼的複用和代碼穩定性,一直是軟體開發的重要目標之一,因為只有這樣才能積累各種基礎組件,以及維護以前做過的工作。從複用的特性來說,就是利用以前做過的工作,比如就像硬體裡的IC一樣,不需要知道它是怎麼樣實現的,只要使用它就行了。因而軟體也需要有這種IC,在代碼層次裡的IC,以前看來只是用函數的方式複用,或者只是資料結構的複用。當邁進物件導向編程時代時,自然而然地想到就使用類來複用了,這樣資料結構和函數都同時能複用上,比函數的複用更省心了一步,就是資料結構和演算法都不需要關心了,只關心
Time of Update: 2017-02-27
CODE:#!/usr/bin/python # -*- coding: utf-8 -*- ''''' Created on 2014-7-7 @author: guaguastd @name: user_retweet_statuses.py ''' if __name__ == '__main__': # import login, see
Time of Update: 2017-02-27
學習python 有段時間,最近部落格更新比較慢了,空閑時間在零零碎碎的學python ,難成文,也就沒整理成部落格。學習python 最苦惱的就是沒有趁手IDE ,之前學java 時 Eclipse 肯定是不二之選。eclipse pydev 也可以開發python,但覺太重了。 所以一直用內建的IDLE ,偶爾也用一下notepad++ 這種小巧的萬能編輯器。IDLE 寫寫單小程式很好,但一個程式與執行資訊兩個視窗,更別說多標籤了,程式找開的多了,就亂了。pythonWin
Time of Update: 2017-02-27
上一篇裡面我們實現了單表查詢和top N查詢,這一篇我們來講述如何?多表串連和group by分組。一、多表串連多表串連的時間是資料庫一個非常耗時的操作,因為串連的時間複雜度是M*N(M,N是要串連的表的記錄數),如果不對進行最佳化,串連的產生的暫存資料表可能非常大,需要寫入磁碟,分多趟進行處理。1、雙表等值join我們看這樣一個串連sql:select PS_AVAILQTY,PS_SUPPLYCOST,S_NAMEfrom SUPPLIER,PARTSUPPwhere PS_SUPPKEY
Time of Update: 2017-02-27
最近寫一個py指令碼來整理電腦中的文檔,其中需要檢校輸入的字元,為了不使代碼冗長,想到使用裝 飾器。上網搜尋有關python的裝飾器學習文檔,主要看的是AstralWind的一篇博文,以及Limodou的一篇文章 。作為初學者,這兩篇文章對新手有很大的協助,但仍然有些不易理解的地方。因此在此以一個初學者的 認知記錄一下python的裝飾器的學習心得。1.
Time of Update: 2017-02-27
一個想法:1 python2.72 python的web架構 bottle3 shell指令碼管理kvm組合在一起就可以了~這段時間我會用bottle 簡單的實現管理kvm 主機,開源出去的~ 效能爛的話,別怪我~管理kvm主機完全可以在頁面上完成,國外有個人用django寫了這套程式,感覺還不錯,只是稍複雜,bug有點多。。。。 個人覺得 自己開寫一套簡單的,python本身有kvm的庫,大家要是覺得麻煩的話,也可以用os模組,調用virsh的命令來管理kvm主機,這完全是可行的~
Time of Update: 2017-02-27
簡介這個由三部分組成的系列文章的第 1 部分介紹了在 Python 中使用 Pyomo 庫進行線性最佳化的 基礎知識。現在我們將介紹如何擴充它。Python 缺乏真實的作業系統線程,該如何擴充它?本文將向您介紹 如何組合使用這些技術來建立一個實際的可擴充基礎架構,該架構可用於構建一個 Pyomo Web 解決方案。我 們組合使用了一個單線程事件迴圈、一個 AMQP 伺服器和背景工作執行緒流程來建立一個模式,利用該模式擴充一個 線性最佳化系統。該基礎架構也適用於 Python 或 Ruby
Time of Update: 2017-02-27
單元素的元組:(1)並不是元組,實際上是在多處重載了小括弧,比如在運算式裡,小括弧的作用是分組,(1,)這個才是單元素的元組。模組:import module 是將模組的名字設定為一個隱含的名字空間變數。from module import method 匯入到當前的全部命名空間裡。對於第二種方法並不是只有一個函數被匯入,,其實整個模組也已經被匯入。但只是那個函數的引用被儲存了起來,所以 from...import
Time of Update: 2017-02-27
有時候,我們很需要在程式啟動並執行過程中,根據變數或者配置動態決定匯入哪個模組。假設我們需要匯入的模組module_12定義在subPack1檔案夾下面,內容如下。def funcA12(): print('funcA12 in module_12') return import os print os.path.join(os.path.abspath(os.path.dirname(__file__)),('templates')) print
Time of Update: 2017-02-27
Help on module posixpath in os:NAME posixpath - Common operations on Posix pathnames.FILE /usr/lib/python2.6/posixpath.pyMODULE DOCS http://docs.python.org/library/posixpathDESCRIPTION Instead of importing this module directly, import os
Time of Update: 2017-02-27
繼Python將資料庫資料匯入到EXCEL文章之後,這次來一個推進版,將其編寫為函數,接著是class。哈哈。。問過群裡的朋友,他們大多採用工具將資料匯入到excel,本人以前是用select ... into outfile 匯出為csv格式,但是這樣的資料是沒有欄位標題的,每次手動添加。後來用過sqlyog 這個工具也沒有欄位標題。後來改用Navicat,覺得以後可以過安穩日子啦,有一次新項目上線,運營要“全部”資料(真不知道他們怎麼想的),用navicat
Time of Update: 2017-02-27
本文為通過密碼或密鑰實現python批量自動化營運指令碼案例分享#!/usr/bin/env python# this script comes from beijing oldboy trainning.# e_mail:70271111@qq.com# function: remote multi exec cmd by ssh.# version:1.1################################################# oldboy trainning
Time of Update: 2017-02-27
挑戰:使用機器學習對 RSS 提要進行分類最近,我接到一項任務,要求為客戶建立一個 RSS 提要分類子系統。 目標是讀取幾十個甚至幾百個 RSS 提要,將它們的許多文章自動分類到幾十個預定義的主題領域當中。客戶網站的內容、 導航和搜尋功能都將由這個每日自動提要檢索和分類結果驅動。客戶建議使用機器學習,或許還會使用 Apache Mahout 和 Hadoop 來實現該任務,因為客戶最近閱讀了有關這些技術的文章。但是,客戶的Team Dev和我們的Team Dev都 更熟悉 Ruby,而不是
Time of Update: 2017-02-27
Django的特點Django的主要目的是簡便、快速地開發資料庫驅動的網站——動態網站。它強調代碼複用,多個組件可以方便地以“外掛程式”形式服務於整個架構,因此它有許多功能強大的第三方外掛程式。Django強調快速開發,用Django開發一個Web網站非常迅速。Django的實際應用Django最著名的應用是Google App Engine,Google App Engine 是一種讓您可以在 Google
Time of Update: 2017-02-27
Django Web架構簡介Django 項目是一個 python[1]定製架構,它源自一個線上新聞 Web 網站,於 2005 年以開源的形式被釋放出來。Django 架構的核心組件有:用於建立模型的對象關係映射為終端使用者設計的完美管理介面一流的 URL
Time of Update: 2017-02-27
項目內容:用Python寫的糗事百科的網路爬蟲。使用方法:建立一個Bug.py檔案,然後將代碼複製到裡面後,雙擊運行。程式功能:在命令提示行中瀏覽糗事百科。原理解釋:首先,先瀏覽一下糗事百科的首頁:http://www.qiushibaike.com/hot/page/1可以看出來,連結中page/後面的數字就是對應的頁碼,記住這一點為以後的編寫做準備。然後,右擊查看頁面源碼:觀察發現,每一個段子都用center標記,其中class必為content,title是發帖時間,我們只需要用Regex
Time of Update: 2017-02-27
當大多數程式員談到 ”Python“ 時,他們可能想到的是有時稱為 ”CPython“(因為它是以 C 實現的)的這種特定實現。但 Python 作為一種語言規範,已隨著 Guido van Rossum 的參考實現的演變而實現了多次。本文包含對兩種非標準 Python -- Stackless 和 Vyper -- 創始人帶注釋的採訪。developWorks 網站上的 Linux 專區是有關 Linux、Linux 資源和 Linux
Time of Update: 2017-02-27
標籤:列表 字典 集合 清單類型內建方法列表方法操作list.append(obj)將obj添加到list末尾list.count(obj)返回obj在list中出現的次數list.extend(seq)將seq的內容附加到list中(相當於倆個列表相加)list.index(obj,i=0,j=len(list))返回使list[k]==obj和i≤k<j同時成立的最小索引k,否則拋出Valu
Time of Update: 2017-02-27
伺服器端代碼:# -*- coding: cp936 -*-import socket sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)#初始化socket sock.bind(("127.0.0.1", 8001))#綁定本機地址,8001連接埠sock.listen(5)#等待客戶串連 while True: print "waiting client connection..."