帶監督的文本分類演算法FastText

標籤：優勢   ace   著作權   blank   技術   分類   聯絡   分類演算法   獲得   

該演算法由facebook在2016年開源，典型應用情境是“帶監督的文本分類問題”。

 模型

模型的最佳化目標如下：

 

其中，$<x_n,y_n>$是一條訓練樣本，$y_n$是訓練目標，$x_n$是normalized bag of features。矩陣參數A是基於word的look-up table，也就是A是詞的embedding向量。$Ax_n$矩陣運算的數學意義是將word的embedding向量找到後相加或者取平均，得到hidden向量。矩陣參數B是函數f的參數，函數f是一個多分類問題，所以$f(BAx_n)$是一個多分類的線性函數。最佳化目標是使的這個多分類問題的似然越大越好。

將最佳化目標表示為圖模型如下：

 與word2vec的區別

這個模型與word2vec有很多相似的地方，也有很多不相似的地方。相似地方讓這兩種演算法不同的地方讓這兩

相似的地方：

1. 圖模型結構很像，都是採用embedding向量的形式，得到word的隱向量表達。
2. 都採用很多相似的最佳化方法，比如使用Hierarchical softmax最佳化訓練和預測中的打分速度。

不同的地方：

1. word2vec是一個無監督演算法，而fasttext是一個有監督演算法。word2vec的學習目標是skip的word，而fasttext的學習目標是人工標註的分類結果。
2. word2vec要求訓練樣本帶有“序”的屬性，而fasttext使用的是bag of words的思想，使用的是n-gram的無序屬性。

V.S. 深度神經網路

fasttext只有1層神經網路，屬於所謂的shallow learning，但是fasttext的效果並不差，而且具備學習和預測速度快的優勢，在工業界這點非常重要。

• 比一般的神經網路模型的精確度還要高。
• 訓練和評估速度快幾百倍。10分鐘內就可以在一台多核CPU訓練10億詞彙。1分種內完成100萬句子在31萬中類型中的分類。

 文獻

• 2016年facebook發表的fasttext
• 開原始碼

EasonZhao
連結：http://www.jianshu.com/p/b7ede4e842f1
來源：簡書
著作權歸作者所有。商業轉載請聯絡作者獲得授權，非商業轉載請註明出處。

帶監督的文本分類演算法FastText