標籤:
簡介
蘋果官方為我們提供了簡單手勢的辨識器,但對於圖形手勢,例如五角星、三角形等的識別,就需要自己實現了。通過識別這些手勢,可以去執行特定的操作,或是輸入公式、釋放魔法等,可以為App增光添彩。
下載與使用
該架構已經上傳到github,點擊這裡前去下載,歡迎Star!
有關該架構的使用在github上已經寫明,這裡不再贅述,本文主要介紹的是圖形手勢識別的實現原理與架構的結構。
架構的結構
一個圖形手勢是一條曲線,可以用採樣點來描述,儲存採樣點的類為SGGesturePoint,使用它替代CGPoint,更符合物件導向的操作規範。
採樣點的集合為SGGestureSet,它用於記錄所有採樣點以及手勢的名稱,以及標準化以後的手勢向量。
手勢向量使用SGGestureVector儲存,向量通過將所有採樣點的(x,y)座標依次插入並標準化得來,手勢向量用於進行餘弦相似性計算。
用於標準化集合、產生向量、儲存、載入與識別手勢的類為SGGestureManager,它是一個單例對象,正常使用中只需要關心manager和set兩個對象,其他對象由manager負責管理。
手勢採樣的過程1.採樣
Demo中給出的是使用UIPanGestureRecognizer完成的採樣,每個採樣點都是一個CGPoint,將其封裝秤NSValue並且儲存在數組中。
2.產生集合
使用SGGestureSet的gestureSetWithName:points:方法,傳入手勢的名稱與採樣點(NSValue數組),即可使用採樣點初始化一個集合。
3.重新採樣
將集合中的所有採樣點構成的圖形看作折線,根據所需要的採樣密度確定採樣間距interval,並在原曲線上產生均勻分布的採樣點,產生採樣點的代碼如下,代碼後將結合圖例進行講解。
// to resample the curve, calculate the length of the curveSGGestureSet *tempSet = *set;double sumLength = 0;for (int i = 1; i < tempSet.countPoints; i++) { SGGesturePoint *pt1 = [tempSet pointAtIndex:i]; SGGesturePoint *pt2 = [tempSet pointAtIndex:i - 1]; sumLength += [pt1 distanceTo:pt2];}// resample with sample uniform distributed pointsSGGestureSet *resampleSet = [SGGestureSet gestureSetWithName:tempSet.name];double Interval = sumLength / self.samplePointCount;double D = 0;SGGesturePoint *p1 = [tempSet pointAtIndex:0];[resampleSet addGesturePoint:p1];for (int i = 1; i < tempSet.countPoints;) { SGGesturePoint *p2 = [tempSet pointAtIndex:i]; double d = [p1 distanceTo:p2]; if ((D + d) >= Interval) { double k = (Interval - D ) / d; double x = p1.x + k * (p2.x - p1.x); double y = p1.y + k * (p2.y - p1.y); SGGesturePoint *p = [SGGesturePoint gesturePointWithCGPoint:CGPointMake(x, y)]; [resampleSet addGesturePoint:p]; D = 0; p1 = p; }else{ D += d; p1 = p2; i++; }}
其中D用於折現拐點後確定下一採樣點的距離,d為原集合中的相鄰採樣點間距,是某圖形手勢的局部折線圖。
第一次進入迴圈時,P1為原集合的第一個採樣點(也是重新採樣集合的第一個點),P2為原集合的第二個採樣點,他們之間的距離P大於重新採樣的採樣點間距interval,這時D=0,D+d=d>interval,因此進入if分支。
接下來根據interval與d的比例關係求出x、y的步進值,從而得到下一個重新採樣點的座標點,並且這個點作為新的P1。
以此類推,由於折線段的長度比interval大的多,因此能夠分布許多新採樣點,直到P1足夠接近P2,使得interval>d,如所示。
這時下一個採樣點應該落在下一個折線段上,並且為了保證均勻分布,下一個採樣點距離折線段拐點的距離應該減去當前P1到P2的距離,這就是D的作用了。說明了這個計算的目的。
這時候會進入else分支,將P1更新為P2座標,並且將d累加到D中,需要注意的是,下一個P2的座標並不是原集合中的點,而是根據D計算出的點,因此應該跳過原集合中的下一個點,這就是i++的作用。如果曲線有足夠多的短折線段,則會不斷的進入else分支,一直累加d,直到滿足新採樣點間距,也就是D+d>=interval,才產生一個新的採樣點,本圖中的情況僅僅計算了一次D就進入了下一條比較長的折線段,這時候清空D,開始在折線段上分布採樣點,如所示。
經過多次這樣的運算,就可以完成均勻分布的重新採樣了,之後使用的是重新採樣點的集合。
4.曲線位置的標準化
將集合中的x、y分別求平均值,得到曲線的重心,根據重心座標將曲線移動到座標原點,得到標準位置的曲線。
5.曲線尺寸的標準化
根據曲線的外接矩形與標準尺寸將曲線上的每個點進行比例運算,即可得到縮放到標準尺寸的曲線。
6.曲線轉角的標準化
根據曲線上的第一個採樣點與中心的連線的角度對曲線進行標準化,設當前角度為iAngle,目標角度為r,則如所示經過座標變換將曲線旋轉到紅色位置。
7.產生向量
為了進行後續運算,需要將二元採樣點集化為一元集合,也可以看做多維向量,方法是依次將採樣點的x、y座標插入一元集合,並對向量進行標準化,每個向量代表一個手勢,可用於後續的比較運算。
手勢識別的過程
對於需要識別的手勢,先經過上面的運算得到手勢向量,然後將這個手勢向量與手勢庫中的向量逐一進行餘弦相似性的運算,餘弦相似性比較的是向量的夾角,夾角越小則越相似,根據一定的閾值來篩選出合格所有手勢,並在遍曆結束後取最優(運算結果最小)的作為匹配結果。
餘弦相似性的計算代碼如下:
- (double)cosDistanceWithVector1:(SGGestureVector *)vec1 vector2:(SGGestureVector *)vec2 { double a = 0; double b = 0; for (int i = 0; i <= vec1.length - 1 && i <= vec2.length - 1; i+=2) { a += [vec1 doubleAtIndex:i] * [vec2 doubleAtIndex:i] + [vec1 doubleAtIndex:i + 1] * [vec2 doubleAtIndex:i + 1]; b += [vec1 doubleAtIndex:i] * [vec2 doubleAtIndex:i + 1] - [vec1 doubleAtIndex:i + 1] * [vec2 doubleAtIndex:i]; } double angle = atan(b / a); return acos(a * cos(angle) + b * sin(angle));}
識別一個手勢的代碼如下,先標準化手勢集合并得到向量,然後在手勢庫中篩選,最後選擇最優結果。
- (NSString *)recognizeGestureSet:(SGGestureSet *)set { [self standardizeSet:&set]; SGGestureVector *vec1 = [set getVector]; SGGestureSet *bestSet = nil; double minD = CGFLOAT_MAX; for (int i = 0; i < self.gestureSets.count; i++) { SGGestureSet *libSet = self.gestureSets[i]; SGGestureVector *vec2 = [libSet getVector]; double D = [self cosDistanceWithVector1:vec1 vector2:vec2]; if(D <= self.threshold && D < minD){ minD = D; bestSet = libSet; } } return bestSet.name;}
手勢的存取
以上介紹的每一個與儲存有關的類都遵循NSCoding協議,將每一個標準化的SGGestureSet存入到數組中,並將數組利用NSKeyedArchiverArchive Storage到磁碟,需要讀取時再通過NSKeyedUnarchiver反歸檔即可。
iOS圖形手勢識別架構SGGestureRecognizer