圍觀人類彈琴後，Facebook的AI學會了假裝演奏，facebookai

圍觀人類彈琴後，Facebook的AI學會了假裝演奏，facebookai
安妮 編譯自 CNBC
量子位 出品 | 公眾號 QbitAI

Facebook的AI研究人員想讓卡通形象看起來像在演奏樂器。

腦補不出來？畫面可能是下面這樣的——

△ 讓卡通形象聽音演奏

在上面的視頻中，一個只有上半身的卡通小人隨著播放的音樂假裝在演奏或小提琴或鋼琴，並且手的位置和節奏還隨著播放音樂的變化而變化。

不知道的還真以為是這個半身的卡通形象在演奏虛擬樂器呢，它是怎麼學會假裝演奏的本領的？

在論文Audio to Body Dynamics中，Facebook、斯坦福大學和華盛頓大學的Eli Shlizerman和Lucio Dery等四人揭秘了這個卡通形象背後的故事。

教機器理解人類如何運動是AI研究的一個活躍領域，但一般來說，這需要大量視頻來源。研究人員發現，Youtube上有非常多人類演奏鋼琴、小提琴的視頻可以利用，因此他們選用這些資料訓練模型。

模型訓練好再聽到音樂時，LSTM網路已經具備了預測人類肢體動作的能力，先輸出手臂和手指的骨骼輪廓。之後研究人員將其卡通化，做成卡通形象在演奏的模樣。

△ 頭像動作產生流程

在接受外媒CNBC採訪時，研究人員表示，此項研究非常有意義。

“我們相信在VR/AR的應用中，音頻和人類動作相關聯前景光明。”研究人員說。

目前，Facebook還在繼續推進旗下的VR頭戴裝置製造商Oculus進行VR研究。本月初，Facebook還推出了一套新工具，方便開發人員為Facebook的應用開發AR功能。

不過這些頭像小人演奏的準確性還有待改善。研究人員認為，可以利用人類演奏的MIDI檔案，或者從音樂家的感應器中擷取資料，提高頭像們彈奏的準確性。

最後，附論文地址：

https://arxiv.org/abs/1712.09382

— 完 —

加入社群

量子位AI社群13群開始招募啦，歡迎對AI感興趣的同學，加小助手qbitbot2入群；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進群請加小助手號qbitbot2，並務必備忘相應群的關鍵詞~通過審核後我們將邀請進群。（專業群審核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話介面，回複“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

վ'ᴗ' ի 追蹤AI技術和產品新動態