超火的漫畫線稿上色AI出新版了！無監督訓練，效果更美好 | 代碼+Demo，aidemo

超火的漫畫線稿上色AI出新版了！無監督訓練，效果更美好 | 代碼+Demo，aidemo
夏乙 安妮 編譯整理
量子位 出品 | 公眾號 QbitAI

給喜歡的動漫形象建個了收藏夾，裡面收集她的各種圖片……懂，誰沒幾個喜歡的動漫萌妹呢。

一些手繪線稿也很可愛，但黑白配色總會略顯單調。

△ 請記住這張線稿

半年前線稿上色AI style2paints的破殼曾讓自動上色火了一陣。好訊息是，昨天，升級版本style2paints 2.0也問世了！

Demo也一併放出，使用者可以隨意試玩~

△ Demo介面

據作者說，style2paints 2.0比一代效果更好，而且模型的訓練過程是無監督的。

效果驚豔

只需線稿一張，輕點一下，就能給你珍藏的心愛萌妹上個色。

△ 上麵線稿的轉換效果

贊贊的！不僅如此，換一張其他的彩色參考圖，也能將線稿轉化成另一種顏色風格。

比如我們輸入下面這張參考圖：

上面那張樣本圖就變成了下面的效果——

還可以從參考圖中選取顏色，然後用筆線上稿的某個地區上點一下，AI就會按你的提示去重新填充——

支援微調的線稿上色軟體不止一家，不過作者介紹說，和同類軟體相比，style2paints的“提示筆”是最精確的，使用者可以用3×3的筆跡，在1024×2048的畫面上，控制13×13的地區。

為了確保最終畫作顏色協調，style2paints還玩了一點小心機：使用者不能自己輸入顏色，只能從參考圖上選。

△ 使用教程

並不簡單

玩得盡興之後，你可能會說，風格遷移嘛，我們見得多了~

但是，把黑白照片變成彩色照片，和把沒有陰影高光的線稿變成彩色圖畫難度不同。

這種由純線條構成的草圖不包含圖案的明暗和紋理。也就是說，AI需要自動腦補出這些資訊。

何況style2paints作者對線稿上色的期望，實在是比較高，並不是線上條之間填一些顏色就完事了：

在一幅好漫畫裡，妹紙的眼睛要像星系一樣閃亮，臉頰要瀰漫著紅暈，皮膚要精緻迷人。

△ 大概是這個效果吧

這怎麼做得到！

style2paints 2.0目前還沒有相關論文放出，只有代碼可供參考。不過，今年6月問世的第一版其實效果還可以，實現了基於語義資訊遷移的顏色提示，讓上色效果更加和諧。

具體的原理可以看當時的論文Style Transfer for Anime Sketches with Enhanced Residual U-net and Auxiliary Classifier GAN
，來自蘇州大學的三位作者Lvmin Zhang, Yi Ji, Xin Lin介紹了怎樣將集合的剩餘U-Net樣式應用到灰階圖中，並藉助分類器產生的對抗網路(AC-GAN)自動為映像上色。產生過程迅速，效果尚好。

論文地址：
https://arxiv.org/abs/1706.03319

不一樣的2.0

style2paints第一版推出之後非常火，量子位的不少朋友都上手玩過。

不過，他們的主要競品paintschainer不停迭代，後來，上色的效果漸漸超越了style2paints 1.0，於是，作者們也坐不住了，開始研究新方法，更新了一版出來。

那麼，2.0和1.0有什麼不一樣嗎？

巧了，國外的網友也很關心。作者在Reddit上回答說，和上一版相比，style2paints 2.0大部分訓練都是純粹無監督，甚至無條件的。

也就是說，在這個模型的訓練過程中，除了對抗規則之外沒有添加其他的人工定義規則，沒有規則來強迫產生器神經網路照著線稿畫畫，而是靠神經網路自己發現，如果遵照線稿，會更容易騙過鑒別器。

pix2pix、CycleGAN等同類模型為了確保收斂，會對學習對象添加l1 loss，鑒別器接收到的資料是成對的[input, training data]和[input, fake output]。而style2paints 2.0模型的學習目標和經典DCGAN完全相同，沒有添加其他規則，鑒別器收到的也不是成對的輸出。

作者說，讓這樣一個模型收斂其實是很難的，何況神經網路這麼深。

不過你看，結果還不錯。

線稿上色的江湖

線稿上色的程式，其實有很多，比如說：

Paintschainer
https://paintschainer.preferred.tech/index_en.html

Deepcolor
https://github.com/kvfrans/deepcolor

Auto-painter
https://arxiv.org/abs/1705.01908

除了paintschainer，其他的同類產品其實作者是不太看得上的。

他說，很多亞洲論文都號稱能遷移漫畫風格，但是仔細看論文，會發現他們所謂的“新方法”就是個調整過的VGG，雖說VGG在風格遷移任務上普遍表現不錯，但是用在漫畫上，效果總是不怎麼好。

還是得靠GAN，而且得允許使用者上傳風格參考圖，像Prisma那樣從莫奈梵谷裡選可不行，莫奈梵谷又不會畫漫畫。

試試不？

上手玩一下Demo：
http://paintstransfer.com/

論文還沒出來，不過可以看原始碼呀：
https://github.com/lllyasviel/style2paints

作者對上一版的介紹：
https://zhuanlan.zhihu.com/p/29331219

— 完 —

加入社群

量子位AI社群13群開始招募啦，歡迎對AI感興趣的同學，加小助手qbitbot2入群；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進群請加小助手號qbitbot2，並務必備忘相應群的關鍵詞~通過審核後我們將邀請進群。（專業群審核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話介面，回複“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

վ'ᴗ' ի 追蹤AI技術和產品新動態

著作權聲明：本文為博主原創文章，未經博主允許不得轉載。