光流（optical flow）和openCV中實現

標籤：opencv   optical flow   光流   lucas-kanade   

轉載請註明出處！！！http://blog.csdn.net/zhonghuan1992

光流（optical flow）和openCV中實現

光流的概念：

       是Gibson在1950年首先提出來的。它是空間運動物體在觀察成像平面上的像素運動的瞬時速度，是利用映像序列中像素在時間域上的變化以及相鄰幀之間的相關性來找到上一幀跟當前幀之間存在的對應關係，從而計算出相鄰幀之間物體的運動資訊的一種方法。一般而言，光流是由於情境中前景目標本身的移動、相機的運動，或者兩者的共同運動所產生的。

         當人的眼睛觀察運動物體時，物體的景象在人眼的視網膜上形成一系列連續變化的映像，這一系列連續變化的資訊不斷“流過”視網膜（即映像平面），好像一種光的“流”，故稱之為光流（optical flow）。光流表達了映像的變化，由於它包含了目標運動的資訊，因此可被觀察者用來確定目標的運動情況。

         看下面的圖，它展示了一個小球在5個連續的幀中的運動，箭頭上的數字代表不同的幀，那個紅色小球的運動構成了光流。

        

 

 

操作：

         給你一個圖上的一系列點，在另外一張圖上找到與前面一些列點相同的點。

         或者給你圖I1上的點[ux, uy]T，找到I2上的點[ux + δx, uy + δy]T，最小化ε：

                  

         上面加入Wx表示一塊地區，一般跟蹤一個地區的點。

         在圖形學應用中，在多張圖上跟蹤點（特徵）是一項基本的操作：在一張圖上找到一個對象，觀察對象如何移動。

         基於特徵點的跟蹤演算法大致可以分為兩個步驟：

     1）探測當前幀的特徵點；

     2）通過當前幀和下一幀灰階比較，估計當前幀特徵點在下一幀的位置；

     3）過濾位置不變的特徵點，餘下的點就是目標了。

         特徵點可以是Harris角點，也可以是邊緣點等等。

         考慮一個像素在第一幀的光強度（這裡增加了一個維度時間，前面的時候我們只是處理映像，所以沒有必要時間。現在需要增加這個維度）。它移動了 的距離到一下幀，用了時間。因為像素點是一樣的，光強度也沒有發生變化（其實這個光強度沒有改變是很多光流演算法的基本假設）。，所以我們可以說：

然後通過泰勒級數近似展開有：

所以：

         上面的等式叫做光流等式，偏導數可以求出來，可是 u和v是未知的，所以無法解決上的等式。但是有很多方法可以解決這個問題，其中一個叫做Lucas-Kanade方法。

Lucas-Kanade：

         有這麼一個假定，所有的相鄰像素有相似的行動，Lucas-Kanade方法使用3*3的一塊地區，它假定這9個點有相同的行動，所以現在的問題變為有9個等式，2個未知量，這個問題當然能夠解決。一個好的解決方式是使用最小二乘法。

         令n=9，於是便有了9個等式：

  

         其中q1，q2，…，代表像素點，  是偏導，上面的等式可以寫成下面的形式：A v = b，其中：

         然後，得到下面的：

         最終算出來的兩個未知數的解是：

         上面的解決小而連貫的運動，想想剛剛我們的假設是9個像素點速度一致。因為現實中大而連貫的運動是普遍存在的，我們需要大的視窗來捕獲運動，可是大視窗違背了運動連貫的假設，影像金字塔可以解決這個問題。（影像金字塔的內容以後本人掌握更多的再補充，現在不敢亂髮表）。

OpenCV中的實現:

         OpenCV提供了對上面介紹的方法的支援，函數名叫做：cv2.calcOpticalFlowPyrLK()，現在讓我們在視頻中跟蹤一些點。為了決定跟蹤哪些點，使用cv2.goodFeaturesToTrack()。 

我們得到第一幀，探測Shi-Tomasi角點，然後我們使用 Lucas-Kanade光流法來跟綜這些點。

#include "opencv2/video/tracking.hpp"#include "opencv2/imgproc/imgproc.hpp"#include "opencv2/highgui/highgui.hpp" #include <iostream>#include <ctype.h> using namespace cv;using namespace std; static void help(){    // print a welcome message, and the OpenCV version    cout << "\nThis is ademo of Lukas-Kanade optical flow lkdemo(),\n"        "Using OpenCVversion "<< CV_VERSION << endl;    cout << "\nIt usescamera by default, but you can provide a path to video as an argument.\n";    cout << "\nHot keys:\n"        "\tESC - quitthe program\n"        "\tr -auto-initialize tracking\n"        "\tc - deleteall the points\n"        "\tn - switch the\"night\" mode on/off\n"        "To add/removea feature point click it\n" << endl;} Point2f point;bool addRemovePt = false; static void onMouse(int event, int x, int y, int /*flags*/, void* /*param*/){    if (event == CV_EVENT_LBUTTONDOWN)    {        point = Point2f((float)x, (float)y);        addRemovePt = true;    }} int main(int argc, char** argv){    help();     VideoCapture cap;    TermCriteria termcrit(CV_TERMCRIT_ITER | CV_TERMCRIT_EPS, 20, 0.03);    Size subPixWinSize(10, 10), winSize(31, 31);     const int MAX_COUNT = 500;    bool needToInit = false;    bool nightMode = false;     /*if (argc == 1 || (argc == 2 && strlen(argv[1])== 1 && isdigit(argv[1][0])))        cap.open(argc == 2 ? argv[1][0] - '0' :0);    else if (argc == 2)        cap.open(argv[1]);*/     cap.open("G:\\視頻分析入門練習\\視頻分析入門練習 - 附件\\sample.avi");     if (!cap.isOpened())    {        cout << "Could notinitialize capturing...\n";        return 0;    }     namedWindow("LK", 1);    setMouseCallback("LK", onMouse, 0);     Mat gray, prevGray, image;    vector<Point2f> points[2];     for (;;)    {        Mat frame;        cap >> frame;        if (frame.empty())            break;         frame.copyTo(image);        cvtColor(image, gray, COLOR_BGR2GRAY);         if (nightMode)            image = Scalar::all(0);         if (needToInit)        {            // automaticinitialization            goodFeaturesToTrack(gray, points[1],100, 0.01, 10, Mat(), 3, 0, 0.04);            cornerSubPix(gray, points[1],subPixWinSize, Size(-1, -1), termcrit);            addRemovePt = false;        }        else if(!points[0].empty())        {            vector<uchar> status;            vector<float> err;            if (prevGray.empty())                gray.copyTo(prevGray);            calcOpticalFlowPyrLK(prevGray, gray,points[0], points[1], status, err, winSize,                3, termcrit, 0, 0.001);            size_t i, k;            for (i = k = 0; i <points[1].size(); i++)            {                if (addRemovePt)                {                    if (norm(point -points[1][i]) <= 5)                    {                        addRemovePt = false;                        continue;                    }                }                 if (!status[i])                    continue;                 points[1][k++] = points[1][i];                circle(image, points[1][i], 3, Scalar(0, 255, 0), -1, 8);            }            points[1].resize(k);        }         if (addRemovePt&& points[1].size() < (size_t)MAX_COUNT)        {            vector<Point2f> tmp;            tmp.push_back(point);            cornerSubPix(gray, tmp, winSize,cvSize(-1, -1), termcrit);            points[1].push_back(tmp[0]);            addRemovePt = false;        }         needToInit = false;        imshow("LK", image);         char c = (char)waitKey(100);        if (c == 27)            break;        switch (c)        {        case 'r':            needToInit = true;            break;        case 'c':            points[0].clear();            points[1].clear();            break;        case 'n':            nightMode = !nightMode;            break;        }         std::swap(points[1], points[0]);        cv::swap(prevGray, gray);    }     return 0;}

 

結果：隨意取得一些特徵點，特徵點會隨著車的移動而移動