kNN演算法python實現和簡單數字識別的方法

本文執行個體講述了kNN演算法python實現和簡單數字識別的方法。分享給大家供大家參考。具體如下：

kNN演算法演算法優缺點：

優點：精度高、對異常值不敏感、無輸入資料假定
缺點：時間複雜度和空間複雜度都很高
適用資料範圍:數值型和標稱型

演算法的思路：

KNN演算法（全稱K最近鄰演算法），演算法的思想很簡單，簡單的說就是物以類聚，也就是說我們從一堆已知的訓練集中找出k個與目標最靠近的，然後看他們中最多的分類是哪個，就以這個為依據分類。

函數解析：

庫函數：

tile()
如tile(A,n)就是將A重複n次

代碼如下:

a = np.array([0, 1, 2])
np.tile(a, 2)
array([0, 1, 2, 0, 1, 2])
np.tile(a, (2, 2))
array([[0, 1, 2, 0, 1, 2],[0, 1, 2, 0, 1, 2]])
np.tile(a, (2, 1, 2))
array([[[0, 1, 2, 0, 1, 2]],[[0, 1, 2, 0, 1, 2]]])
b = np.array([[1, 2], [3, 4]])
np.tile(b, 2)
array([[1, 2, 1, 2],[3, 4, 3, 4]])
np.tile(b, (2, 1))
array([[1, 2],[3, 4],[1, 2],[3, 4]])`

自己實現的函數

createDataSet()產生測試數組
kNNclassify(inputX, dataSet, labels, k)分類函數

inputX 輸入的參數
dataSet 訓練集
labels 訓練集的標號
k 最近鄰的數目

代碼如下:

#coding=utf-8
from numpy import *
import operator

def createDataSet():
group = array([[1.0, 0.9], [1.0, 1.0], [0.1, 0.2], [0.0, 0.1]])
labels = ['A','A','B','B']
return group,labels
#inputX表示輸入向量（也就是我們要判斷它屬於哪一類的）
#dataSet表示訓練樣本
#label表示訓練樣本的標籤
#k是最近鄰的參數，選最近k個
def kNNclassify(inputX, dataSet, labels, k):
dataSetSize = dataSet.shape[0]#計算有幾個訓練資料
#開始計算歐幾裡得距離
diffMat = tile(inputX, (dataSetSize,1)) - dataSet

sqDiffMat = diffMat ** 2
sqDistances = sqDiffMat.sum(axis=1)#矩陣每一行向量相加
distances = sqDistances ** 0.5
#歐幾裡得距離計算完畢
sortedDistance = distances.argsort()
classCount = {}
for i in xrange(k):
voteLabel = labels[sortedDistance[i]]
classCount[voteLabel] = classCount.get(voteLabel,0) + 1
res = max(classCount)
return res

def main():
group,labels = createDataSet()
t = kNNclassify([0,0],group,labels,3)
print t

if __name__=='__main__':
main()

kNN應用執行個體

手寫辨識系統的實現

資料集：

兩個資料集：training和test。分類的標號在檔案名稱中。像素32*32的。資料大概這個樣子：

方法：

kNN的使用，不過這個距離算起來比較複雜（1024個特徵），主要是要處理如何讀取資料這個問題的，比較方面直接調用就可以了。

速度：

速度還是比較慢的，這裡資料集是：training 2000+，test 900+（i5的CPU）

k=3的時候要32s+

代碼如下:

#coding=utf-8
from numpy import *
import operator
import os
import time

def createDataSet():
group = array([[1.0, 0.9], [1.0, 1.0], [0.1, 0.2], [0.0, 0.1]])
labels = ['A','A','B','B']
return group,labels
#inputX表示輸入向量（也就是我們要判斷它屬於哪一類的）
#dataSet表示訓練樣本
#label表示訓練樣本的標籤
#k是最近鄰的參數，選最近k個
def kNNclassify(inputX, dataSet, labels, k):
dataSetSize = dataSet.shape[0]#計算有幾個訓練資料
#開始計算歐幾裡得距離
diffMat = tile(inputX, (dataSetSize,1)) - dataSet
#diffMat = inputX.repeat(dataSetSize, aixs=1) - dataSet
sqDiffMat = diffMat ** 2
sqDistances = sqDiffMat.sum(axis=1)#矩陣每一行向量相加
distances = sqDistances ** 0.5
#歐幾裡得距離計算完畢
sortedDistance = distances.argsort()
classCount = {}
for i in xrange(k):
voteLabel = labels[sortedDistance[i]]
classCount[voteLabel] = classCount.get(voteLabel,0) + 1
res = max(classCount)
return res

def img2vec(filename):
returnVec = zeros((1,1024))
fr = open(filename)
for i in range(32):
lineStr = fr.readline()
for j in range(32):
returnVec[0,32*i+j] = int(lineStr[j])
return returnVec

def handwritingClassTest(trainingFloder,testFloder,K):
hwLabels = []
trainingFileList = os.listdir(trainingFloder)
m = len(trainingFileList)
trainingMat = zeros((m,1024))
for i in range(m):
fileName = trainingFileList[i]
fileStr = fileName.split('.')[0]
classNumStr = int(fileStr.split('_')[0])
hwLabels.append(classNumStr)
trainingMat[i,:] = img2vec(trainingFloder+'/'+fileName)
testFileList = os.listdir(testFloder)
errorCount = 0.0
mTest = len(testFileList)
for i in range(mTest):
fileName = testFileList[i]
fileStr = fileName.split('.')[0]
classNumStr = int(fileStr.split('_')[0])
vectorUnderTest = img2vec(testFloder+'/'+fileName)
classifierResult = kNNclassify(vectorUnderTest, trainingMat, hwLabels, K)
#print classifierResult,' ',classNumStr
if classifierResult != classNumStr:
errorCount +=1
print 'tatal error ',errorCount
print 'error rate',errorCount/mTest

def main():
t1 = time.clock()
handwritingClassTest('trainingDigits','testDigits',3)
t2 = time.clock()
print 'execute ',t2-t1
if __name__=='__main__':
main()

希望本文所述對大家的Python程式設計有所協助。

