標籤:
摘要:
本文主要針對於FCM演算法在很大程度上局限於處理球星星團資料的不足,引入了核方法對演算法進行最佳化。
與許多聚類演算法一樣,FCM選擇歐氏距離作為樣本點與相應聚類中心之間的非相似性指標,致使演算法趨向於發現具有相近尺度和密度的球星簇。因此,FCM很大程度上局限於對球星星團的處理,不具有普遍性。聯絡到支援向量機中的核函數,可採用核方法將資料對應到高維特徵空間進行特徵提取從而進行聚類。現階段,核方法已廣泛應用於模糊群集演算法。核方法的應用目前已成為電腦智能方面的熱點之一,對於核學習的深入研究具有很重要的意義。本文主要講述將核方法應用到FCM演算法中。
一 核方法概述
1. 核方法的簡單介紹
核方法起源於支援向量機(SVM)理論,將資料通過特徵映射嵌入到相應的特徵空間(希爾伯特空間),探索資料在特徵空間上的線性模式,進而選取相應的核函數利用輸入計算內積,其中特徵映射Φ的作用就是將資料重新編碼,從而探索資料之間的線性模式。根據對偶解法可得演算法所需要的資訊位於特徵空間上資料點之間的內積,所以可以將內積作為輸入特徵的直接函數,同時也減少了演算法的時間複雜度。因此,核方法常用來處理那些效率低下,特徵相似的問題。
核函數是核方法應用的關鍵,它在很大程度上解決了非線性以及高維數問題。核函數對資料進行隱性的非線性映射,不用具體求出非線性映射,只需計算內積,使演算法更為高效和靈活。核函數的本質是解決資料之間的相似問題,核函數可以有很多不同的形式,並且構造方法也多種多樣,現已得到了多種核函數,不同的核函數可作為不同的相似性指標,在FCM演算法中就是衡量樣本點和聚類中心之間的距離。
基於上述分析,我們需要解決非球星星團的群集問題。聯絡到T.M.Cover的模式可分性定理:一個複雜的模式分析問題映射到高維空間後,會比在低維空間線性可分。結合支援向量機,聯絡到核方法,可將資料使用Mercer核映射到高維特徵空間進行特徵提取,選取相應的核函數進行群集。
2. 核方法的研究進展
早在20世紀60 年代就有學者在模式識別中引入了核函數,直到支援向量機成功應用於模式識別,核方法才得到了快速的發展。Scholkopfs等人首先在特徵提取中應用到了核學習的思想,提出核主成分分析法(KPCA);之後,Mika、Baudt、Roth等人採用核學習方法將線性判別分析演算法拓展為核判別分析演算法。核方法的研究逐漸活躍起來,已湧現出了大量演算法,經過學者們的不懈努力,核方法現已形成了較完整的學習研究體系。目前針對於核方法的研究大體可以分為:基於核學習的分類演算法、基於核學習的聚類演算法(核聚類)以及基於核學習的神經網路等研究分支。
核聚類是近年發展起來的一個重要分支,現已取得了豐碩的成果。隨著核學習研究的不斷深入,核學習已被廣泛應用到字元識別、Face Service、映像檢索、目標跟蹤、影像處理以及文本歸類等各個領域。可以斷言,核方法必將有更為廣闊的應用前景。
3. 核模糊C均值聚類
該演算法選取相應的核函數替代FCM演算法中的歐氏距離。結合FCM演算法我們來分析一下核模糊C均值聚類,在這裡我們可將其表示為KFCM。
我們知道,FCM的目標函數為:
約束條件為:
現在要引入核方法,則可將目標函數轉化為:
其中Φ指的是特徵映射,根據核方法的中的轉換技巧,我們可以做如下轉換:
在此選取高斯核:
,根據,
結合K(x,x) = 1,則目標函數可轉化為:
為了最小化目標函數,結合約束條件,求得聚類中心和隸屬度矩陣的更新公式分別為:
根據上述公式不斷迭代求出滿足條件的隸屬度以及聚類中心從而最小化目標函數,保證演算法收斂,具體的演算法步驟如下:
演算法開始之前必須給定一個由N個L維向量組成的資料集X以及所要分得的類別個數C,自訂隸屬度矩陣。
(1)設定類別的個數C和模糊係數m;
(2)初始化隸屬度矩陣且滿足公歸一化條件;
(3)根據公式聚類中心;
(4)根據公式更新隸屬度矩陣;
(5)根據矩陣範數比較迭代的隸屬度矩陣,若收斂,迭代停止,否則返回(3)。
二 MATLAB實現
在此我們選取同樣選取MR映像實現,建立MKFC.m檔案,代碼如下:
%%%%%MKFCMclear allclc; a=imread(‘MRI.jpg‘);I=imnoise(a,‘salt & pepper‘,0.03); [height,width,c]=size(a);if c~=1 a=rgb2gray(a);enda=double(a);[row,column]=size(a); %% 幾個參數beta = 1000;cluster_num = 4;%將映像分為四類default_options = [2.0; % exponent for the partition matrix U 300; % max. number of iteration 0.01; % min. amount of improvement 1]; % info display during iteration options = default_options;m = options(1); % p,映像的品質參數iter_num = options(2); % Max. iteration 最大迭代次數threshold = options(3); % Min. improvement 最小進化步長display = options(4); % Display info or not 顯示資訊與否costfunction = zeros(iter_num, 1);%%%%%%%%%%%%%%%%%%%%%%% tic%% 初始化隸屬度並歸一membership = zeros(height,width,cluster_num);for i=1:height for j=1:width member_sum=0; for k=1:cluster_num membership(i,j,k)=rand(); member_sum=member_sum + membership(i,j,k); end for p =1:cluster_num membership(i,j,p)=membership(i,j,p)/member_sum; end endendcenter = zeros(cluster_num,1);for o = 1:iter_num %迭代次數控制 %% 計算初始中心 for u = 1:cluster_num sum = 0; sum1 = 0; for h=1:height for t=1:width sum = sum + membership(h,t,u).^m * exp((-1) * (a(h,t) - center(u).^2) / (beta.^2)) * a(h,t); sum1 = sum1 + membership(h,t,u).^m * exp((-1) * ((a(h,t) - center(u))^2) / (beta.^2)); end end center(u) = sum / sum1; end for h = 1:height for t = 1:width for k = 1:cluster_num costfunction(o) = costfunction(o) + 2 * membership(h,t,k).^m * (1 - exp( -1 * ((a(h,t) - center(k)).^2)/(beta.^2))); temp =(1 - exp( -1 * ((a(h,t) - center(k)).^2)/(beta.^2))).^(-1 / (m -1)); top = 0; for p = 1:cluster_num top = top + (1 - exp((-1 * (a(h,t) - center(p)).^2) /(beta.^2))).^(-1 / (m -1)); end membership(h,t,k) = temp / top; end end end if display, fprintf(‘iter.count = %d, obj. fcn = %f\n‘,o, costfunction(o)); end if o >1 if abs(costfunction(o)-costfunction(o-1)) < threshold , break;end; endend toc %% 輸出映像 newing = zeros(row,column);for i=1:row for j=1:column maxmembership=membership(i,j,1); index=1; for k=2:cluster_num if(membership(i,j,k)>maxmembership) maxmembership=membership(i,j,k); index=k; end end newimg(i,j) = round(255 * (1-(index-1)/(cluster_num-1))); endendsubplot(2,2,1),imshow(uint8(a)); title(‘原圖‘)subplot(2,2,2);imshow(I);title(‘加噪映像‘);subplot(2,2,3);imshow(uint8(newimg));title(‘KFCM分割後的映像‘);
可以得到結果:
與之前的FCM的分割結果相比還是有很大的提升的。結合之前所分析的,考慮到空間資料之間的相關性,結合各點的鄰域資訊,在原代碼中添加鄰域資訊:
%% 鄰域資訊Xk = zeros(height,width);for i = 1:height for j = 1:width up = i - 1; down = i + 1; left = j - 1; right = j + 1; if (up < 1) up = i; end if (down > height) down = height; end if (left < 1) left = width; end if (right > width) right = height; end A = zeros(1,6); for x = up : down for y = left : right A = a(x,y); end end Xk(i,j) = mean(A); endend
這樣可對演算法進一步最佳化。
好了,將核方法應用到FCM演算法今天就說這麼多了,總而言之,核方法的應用確實使演算法的效能提高了不少。
基於核方法的模糊C均值聚類