[notes] model-agnostic meta-learning

標籤：策略   更新   應對   任務   optimizer   學習   desc   最佳化   特徵   

智能的一個關鍵特徵就是多面性（versatility）.

學習去學習是實現真正只能的必經之途。

學習新任務的學習者 & 訓練學習者的元學習者

元學習方法通常屬於下面三個範疇：迴圈模型（recurrent model）、度量學習(metric learning)和學習最佳化器（learning optimizer）.

• 迴圈模型（LSTM）
• 度量學習： 學習一個度量空間。像素空間進行映像對比的效果並不好。可以訓練一個Siamese網路或在學習的度量空間裡進行映像對比。元學習通過梯度下降（或其他神經網路最佳化器）來進行，而學習者對應對比機制，即在元學習度量空間裡對比最近鄰。
• 學習最佳化器：用一個網路學習如何更新另一個網路。元學習者通常是一個迴圈網路。

MAML沒有對模型的形式作出任何假設，沒有為元學習引入其他參數，學習策略使用的是已知的最佳化過程（gradient descent）.

[notes] model-agnostic meta-learning