論文筆記之：Playing for Data: Ground Truth from Computer Games

標籤：

 

Playing for Data: Ground Truth from Computer Games

ECCV 2016

 

　　Project Page：http://download.visinf.tu-darmstadt.de/data/from_games/index.html

　　arXiv Paper : http://arxiv.org/pdf/1608.02192.pdf

　　

　　摘要： 本文有意思哦，從遊戲中的視訊框架中得到新的訓練資料，為什麼用這些資料呢？眾所周知，最近的電腦視覺很大程度上依賴于海量資料，但是資料總是有限的，那麼，如何得到這些精緻標註的資料呢？半監督？還是用無監督的方法來做呢？？ 哦，對了，前兩天剛玩的 GTA5 遊戲畫面不錯哦，對了，能否用那些映像作為新的資料來源呢？畢竟，現在的遊戲技術，已經使得畫面“逆天”了。那麼，本文就是將這些從現代電腦遊戲中提取出來的像素級的分割影像地圖。雖然，遊戲的 source code 和 中間的遊戲操作不可訪問，本文表明映像 patches 之間的聯絡可以在遊戲 和 映像硬體之間重建出來。這樣就使得遊戲中的映像之間可以快速傳遞 semantic labels，而不用訪問 source code 或者 content 。實驗證明利用這些產生的映像來協助語義分割可以大幅度的提升分割的效能：利用遊戲得到的model 和 1/3 的 CamVid training set 超過了用光 CamVid training data 所得到的精度。

 

　　所用的遊戲如下所示，可以看出精湛的遊戲畫面，已經能夠和現實相匹敵了：

 

　　

 

　　文章動機：本文從深度學習需要海量有標籤資料 和 有限的標註能力 之間的矛盾作為起始點，開始展開講述本文。精細化的標註一張映像，會耗費很長的時間，此處作者舉了例子，然後對比本文提出的方法，則較大程度上減少了標註時間。

　　本文探索利用了電腦遊戲來構建大型的像素級標註來訓練 semantic segmentation 系統。現代的開放遊戲世界，如：GTA-5，看門狗，殺手47 等等高度的還原了一個真實的世界。他們的理想化，不僅在於高品質的物質材料外觀 和 光線變化類比；他們也涉及到遊戲世界的內容：物體和環境的外部擺放，真實的紋理結構，車輛的運動，小物體出現增添了細節資訊，玩家和環境的互動等等。

　　遊戲世界的尺寸，外觀 和 行為都遠比沙箱遊戲更好，因為其缺乏這些充分的元素。但是，由於其中間的操作和遊戲的內容都幾乎不可見，那麼細節的 semantic annoation 是非常具有挑戰性的，這個問題可以通過一種稱為 “detouring”的技術來解決。我們在遊戲 和 作業系統之間添加了一種 wrapper 來允許我們記錄，修改，和重新產生 render commands。更關鍵的是，其允許進列標籤的傳遞，隨著時間和物體，共用不同的資源。

　　在同樣的標註程度上，我們的方法節省了 3個數量級的時間。

 

　　打破資料標註的鴻溝：

　　

　　

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

　　

 

論文筆記之：Playing for Data: Ground Truth from Computer Games