幾種分類問題的區別：多類分類，多標籤分類，多樣本學習，多任務學習

標籤：

多類分類（Multiclass Classification）

一個樣本屬於且只屬於多個類中的一個，一個樣本只能屬於一個類，不同類之間是互斥的。

典型方法：One-vs-All or One-vs.-rest：

將多類問題分成N個二類分類問題，訓練N個二類分類器，對第i個類來說，所有屬於第i個類的樣本為正（positive）樣本，其他樣本為負（negative）樣本，每個二類分類器將屬於i類的樣本從其他類中分離出來。

one-vs-one or All-vs-All：

訓練出N(N-1)個二類分類器，每個分類器區分一對類(i,j)。

多標籤分類(multilabel classification)

又稱，多標籤學習、多標記學習，不同於多類分類，一個樣本可以屬於多個類別（或標籤），不同類之間是有關聯的。

典型方法問題轉換方法

問題轉換方法的核心是“改造樣本資料使其適應現有學習演算法”。該類方法的思路是通過處理多標記訓練樣本，使其適應現有的學習演算法，也就是將多標記學習問題轉換為現有的學習問題進行求解。

代 表性學習演算法有一階方法Binary Relevance，該方法將多標記學習問題轉化為“二類分類( binary classification )”問題求解；二階方法Calibrated Label Ranking，該方法將多標記學習問題轉化為“標記排序( labelranking )問題求解；高階方法Random k-labelset，該方法將多標記學習問題轉化為“多類分類(Multiclass classification)”問題求解。

演算法適應方法

演算法適應方法的核心是“改造現有的單標記學習演算法使其適應多標記資料”。該類方法的基本思想是通過對傳統的機器學習方法的改進，使其能夠解決多標記問題。

代 表性學習演算法有一階方法ML-kNN}，該方法將“惰性學習(lazy learning )”演算法k近鄰進行改造以適應多標記資料；二階方法Rank-SVM，該方法將“核學習(kernel learning )”演算法SVM進行改造以適應多標記資料；高階方法LEAD，該方法將“貝葉斯學習(Bayes learning)演算法”Bayes網路進行改造以適應多標記資料。

多樣本學習（multi-instance learning）

在 此類學習中，訓練集由若干個具有概念標記的包（bag）組成，每個包包含若干沒有概念標記的樣本。若一個包中至少有一個正例，則該包被標記為正 （positive），若一個包中所有樣本都是反例，則該包被標記為反（negative）。通過對訓練包的學習，希望學習系統儘可能正確地對訓練集之外 的包的概念標記進行預測。 

多任務學習（Multi-task learning）

多任務學習（Multi-task learning）是和單任務學習（single-task learning）相對的一種機器學習方法。在機器學習領域，標準的演算法理論是一次學習一個任務，也就是系統的輸出為實數的情況。複雜的學習問題先被分解 成理論上獨立的子問題，然後分別對每個子問題進行學習，最後通過對子問題學習結果的組合建立複雜問題的數學模型。多任務學習是一種聯合學習，多個任務並行 學習，結果相互影響。

拿大家經常使用的school data做個簡單的對比，school data是用來預測學產生績的迴歸問題的資料集，總共有139個中學的15362個學生，其中每一個中學都可以看作是一個預測任務。單任務學習就是忽略任 務之間可能存在的關係分別學習139個迴歸函數進行分數的預測，或者直接將139個學校的所有資料放到一起學習一個迴歸函數進行預測。而多任務學習則看重 任務之間的聯絡，通過聯合學習，同時對139個任務學習不同的迴歸函數，既考慮到了任務之間的差別，又考慮到任務之間的聯絡，這也是多任務學習最重要的思 想之一。

多任務學習早期的研究工作源於對機器學習中的一個重要問題，即“歸納偏置(inductive bias)”問題的研究。機器學習 的過程可以看作是對與問題相關的經驗資料進行分析，從中歸納出反映問題本質的模型的過程。歸納偏置的作用就是用於指導學習演算法如何在模型空間中進行搜尋， 搜尋所得模型的效能優劣將直接受到歸納偏置的影響，而任何一個缺乏歸納偏置的學習系統都不可能進行有效學習。不同的學習演算法(如決策樹，神經網路，支援 向量機等)具有不同的歸納偏置，人們在解決實際問題時需要人工地確定採用何種學習演算法，實際上也就是主觀地選擇了不同的歸納偏置策略。一個很直觀的想法就 是，是否可以將歸納偏置的確定過程也通過學習過程來自動地完成，也就是採用“學習如何去學(learning to learn)”的思想。多任務學習恰 恰為上述思想的實現提供了一條可行途徑，即利用相關任務中所包含的有用資訊，為所關注任務的學習提供更強的歸納偏置。

典型方法

目前多任務學習方法大致可以總結為兩類，一是不同任務之間共用相同的參數（common parameter），二是挖掘不同任務之間隱藏的共有資料特徵（latent feature）。

 

幾種分類問題的區別：多類分類，多標籤分類，多樣本學習，多任務學習