論文筆記之：Hybrid computing using a neural network with dynamic external memory

標籤：

 

Hybrid computing using a neural network with dynamic external memory

Nature  2016 

 

　　原文連結：http://www.nature.com/nature/journal/vaop/ncurrent/pdf/nature20101.pdf 

 

　　摘要：人工智慧神經網路 在感知處理，序列學習，強化學習領域得到了非常大的成功，但是限制於其表示變數和資料結構的能力，長時間儲存知識的能力，因為其缺少一個額外的記憶單元。此處，我們引入一個機器學習模型，稱為：a differentiable neural computer (DNC)，包含一個 神經網路，可以讀取和寫入一個額外的記憶矩陣；類似於電腦當中的 random-access memory。像傳統的電腦一樣，可以利用其 memory 表示和執行一個複雜的資料結構，但是，像神經網路一樣，也可以從資料中進行學習。當進行監督學習的時候，我們表明 一個 DNC 能夠成功的回答類比的問題，在自然語言中進行推理和論證問題。我們表明，他可以學習到類似 給定特定點的最短距離 和 推理在隨機產生的圖中丟失的串連，然後推廣到特定的 graph，例如：交通運輸網路 和 家譜樹結構。當進行強化學習的時候，一個 DNC 可以完成移動 block 的難題。總的來說，我們的結果表明，DNCs 能夠解決複雜的，結構化的任務，但是這些任務假如沒有 external read-write memory，那麼根本無法完成的任務。

 

　　引言： 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

論文筆記之：Hybrid computing using a neural network with dynamic external memory