特徵提取，特徵選取

標籤：

參考文獻

 

特徵提取是機器學習的準備工作。

一、特徵大體上分幾種呢

有人分：high features 和low features. high features 指比較泛的特徵；low features 指相對具體的特徵。

有人分：具體特徵，原始特徵（不加工raw），抽象特徵。

總體上，Low Level 比較有針對性，單個特徵覆蓋面小（含有這個特徵的資料不多），特徵數量（維度）很大。High Level比較泛化，單個特徵覆蓋面大（含有這個特徵的資料很多），特徵數量（維度）不大。長尾樣本的預測值主要受High Level特徵影響。高頻樣本的預測值主要受Low Level特徵影響。

• 非線性模型的特徵
  1）可以主要使用High Level特徵，因為計算複雜度大，所以特徵維度不宜太高；
  2）通過High Level非線性映射可以比較好地擬合目標。

• 線性模型的特徵
  1）特徵體系要儘可能全面，High Level和Low Level都要有；
  2）可以將High Level轉換Low Level，以提升模型的擬合能力。

　　　　　　　　　　　　

二、特徵歸一化

特徵抽取後，如果不同特徵的取值範圍相差很大，最好對特徵進行歸一化，以取得更好的效果，常見的歸一化方式如下：

• • 　　Rescaling：
    歸一化到[0,1] 或 [-1，1]，用類似方式：
    

• Standardization：
  設為x分布的均值，為x分布的標準差；
  

• Scaling to unit length：
  歸一化到單位長度向量
  

三、特徵選取

特徵抽取和歸一化之後，如果發現特徵太多，導致模型無法訓練，或很容易導致模型過擬合，則需要對特徵進行選擇，挑選有價值的特徵。

• Filter：
  假設特徵子集對模型預估的影響互相獨立，選擇一個特徵子集，分析該子集和資料Label的關係，如果存在某種正相關，則認為該特徵子集有效。衡量特徵子集和資料Label關係的演算法有很多，如Chi-square，Information Gain。

• Wrapper：
  選擇一個特徵子集加入原有特徵集合，用模型進行訓練，比較子集加入前後的效果，如果效果變好，則認為該特徵子集有效，否則認為無效。

• Embedded：
  將特徵選取和模型訓練結合起來，如在損失函數中加入L1 Norm ，L2 Norm。

　　

特徵提取，特徵選取