Time of Update: 2018-07-28
前段時間需要爬取一些資料進行分析,採用python寫了個爬蟲,具體問題記錄如下。 (一)直接寫代碼 爬蟲就是先發http請求,返回的如果是html頁面的話一般就解析成一個dom樹結構,然後根據標籤去取對應的資料 requests和Beautifulsoup4 from bs4 import BeautifulSoup html字串建立 soup = BeautifulSoup(html) 本地html檔案建立 soup = BeautifulSoup(open('
Time of Update: 2018-07-28
web伺服器入口: # _*_coding:utf-8_*_from wsgiref.simple_server import make_serverdef RunServer(environ, start_response): start_response('200 OK',[('Content-Type','text/html')]) url = environ['PATH_INFO'] _, home, temp = url.split('/')
Time of Update: 2018-07-28
8.1、產生列表 要產生list [1, 2, 3, 4, 5, 6, 7, 8, 9, 10],我們可以用range(1, 11): >>> range(1, 11) [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] 但如果要產生[1x1, 2x2, 3x3, ..., 10x10]怎麼做。方法一是迴圈: >>> L = [] >>> for x in range(1, 11):
Time of Update: 2018-07-28
協助到你了就點個贊吧。 Powered By 劉亞龍-站在巨人的肩膀上 專治python tensorflow 中各種:xxxxxx 'module' object has no attribute 'xxxxx' 本例為:tensorflow,'module' object has no attribute 'placeholder' 我的環境: Win10x64 Anaconda 1.5 Python3.6
Time of Update: 2018-07-28
1. 過程概述 Python先把代碼(.py檔案)編譯成位元組碼,交給位元組碼虛擬機器,然後虛擬機器一條一條執行位元組碼指令,從而完成程式的執行。 2. 位元組碼 位元組碼在Python虛擬機器程式裡對應的是PyCodeObject對象。 .pyc檔案是位元組碼在磁碟上的表現形式。 3. pyc檔案 PyCodeObject對象的建立時機是模組載入的時候,即import。 Python
Time of Update: 2018-07-28
在C語言中,我們通常通過“指標+結構體”來實現鏈表,但是在python中並沒有指標,所以我們必須考慮其它 的方法。在這裡,我們通過定義節點類node,並通過類的嵌套引用來實現鏈表。node類的定義就像鏈表中的節點一樣,包含兩個對象,節點的值(data)和表示指向下一個節點的next。在這裡我們通過節點的next對象再次引用類node來實現next指向下一個節點的目標,這樣不斷嵌套應用,鏈表也就實現了。代碼如下: __author__ =
Time of Update: 2018-07-28
對List進行排序,Python提供了兩個方法 ---sort---- 方法1.用List的內建函數list.sort進行排序 list.sort(func=None, key=None, reverse=False) 方法2.用序列類型函數sorted(list)進行排序 >>> list = [2,5,1] >>> list [2, 5, 1] >>> sorted(list) [1, 2, 5
Time of Update: 2018-07-28
今天加班啊,苦啊。。 無聊,用python寫了一個抓圖片的爬蟲,感覺很不錯啊,哈哈 先貼上代碼:(python 版本:2.7.9) __author__ = 'bloodchilde'import urllibimport urllib2import reimport osclass Spider: def __init__(self): self.siteUrl="http://sc.chinaz.com/biaoqing/"
Time of Update: 2018-07-28
map: def map(): sc = SparkContext("spark://node0:7077", "map") list=[1,2,3,4,5] listRdd=sc.parallelize(list) listmap =listRdd.map(lambda s:s*2) print listmap.collect() sc.stop() filter def filter():
Time of Update: 2018-07-28
height=input("please input your height,eg.:1.75") weight=input("please input your weight") h=int(height) w=int(weight) bmi =w/h**2 if bmi <18.5: print("too light") elif bmi<25:
Time of Update: 2018-07-28
在學習python的尋找資料過程中,找到了一個他人整理的python題目集合。其中0000題目要求在一個圖片右上方添加一個數字,具體內容可以點擊https://github.com/Yixiaohan/show-me-the-code來查看。 #功能:輸入圖片完整地址,再輸入新產生圖片名字可以產生新的添加了數位圖片,其中字型檔我放置在代碼同一檔案夾下# -*- coding: utf-8 -*-from PIL import ImageFontfrom PIL import
Time of Update: 2018-07-28
Python編程時,經常需要跳過第一行讀取檔案內容。比較容易想到是為每行設定一個line_num,然後判斷line_num是否為1,如果不等於1,則進行讀取操作。相應的Python代碼如下: input_file = open("test.csv") line_num = 0 for line in islice(input_file, 1, None): line_num += 1 if (line_num != 1):
Time of Update: 2018-07-28
java版 package cn.spark.study.core;import org.apache.spark.Accumulator;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import
Time of Update: 2018-07-28
首先說一下我遇到的坑,生產上遇到的問題,我調度Python指令碼執行並監控這個進程,python指令碼已耗用時間遠遠大於python指令碼中自己統計的程式執行時間。 監控python指令碼執行的時間是36個小時,而python指令碼中統計自己執行的時間是4個小時左右。 問題暴漏之後首先想到的是linux出了問題,尋找各種日誌未發現有何異常。 然後是想到python中用到的py2neo的寫資料非同步,阻塞進程執行。 最後,終於找到問題的所在:python指令碼使用統計時間的方式是time.
Time of Update: 2018-07-28
import time,datetimefrom datetime import timedeltaimport sysreload(sys)format="%Y-%m-%d %H:%M:%S"now = datetime.datetime.now().replace(hour=0,minute=0,second=0)aDay = timedelta(days
Time of Update: 2018-07-28
python Module(模組) 在電腦開發的過程中,隨著程式碼越寫越多,在一個檔案裡代碼就會越來越長,越來越不容易維護。 為了編寫可維護的代碼,我們把很多函數分組,分別放到不同的檔案裡,這樣,每個檔案包含的代碼就相對較少,很多程式設計語言都採用這種組織代碼的方式。在Python中,一個.py檔案就稱之為一個模組(Module)。 使用模組有什麼好處呢。
Time of Update: 2018-07-28
目錄 目錄 前言 軟體環境 認識subprocess Popen Constructor建構函式 Class Popen的參數 args 調用程式 調用Shell指令 stdinstdoutstderr 即時擷取子程式輸出
Time of Update: 2018-07-28
如果說多個應用的url語句都寫在項目目錄下的urls檔案中,那麼可能會導致該檔案出錯,而且資訊太多的話修改也不容易修改,不能找到與之對應的應用,在每一個應用中都添加urls檔案可以很輕鬆的解決這個問題 只需要把項目目錄下的urls複製過去即可,稍微修改一下,見代碼 項目目錄"""hello_mysite URL ConfigurationThe `urlpatterns` list routes URLs to views. For more
Time of Update: 2018-07-28
使用pip install virtualenv安裝虛擬環境,安裝好以後, 執行virtualenv django_test來建立虛擬環境,如果建立時出現ascii下面這種錯誤
Time of Update: 2018-07-28
分為class和function 1. class 1.1 class range help(__builtins__.range) class range(object) | range(stop) -> range object | range(start, stop[, step]) -> range object | Return a sequence of numbers from