統計學習方法筆記--監督學習

標籤：style   io   strong   資料   ar   amp   line   size   

    監督學習（supervised learning）的任務是學習一個模型，使模型能夠對任意給定的輸入，對其相應的輸出做出一個好的預測，電腦的基本操作就是給定一個輸入產生一個輸出。

基本概念：輸入空間、特徵空間與輸出空間

    在監督學習中，將輸入與輸出所有可能取值的集合分別稱為輸入空間（input space）與輸出空間（output space）。

    每個具體的輸入是一個執行個體（instance），通常有特徵向量（feature vector）表示。這時，所有特徵向量存在的空間稱為特徵空間（features space）。特徵空間的每一維對應一個特徵。有時假設輸入空間與特徵空間為相同的空間，對他們不予區分；有時假設輸入空間與特徵空間為不同的空間，將執行個體從輸入空間映射到特徵空間。模型實際上都是定義在特徵空間上的。

    輸入、輸出變數用大寫字母表示，習慣上，輸入變數寫作X，輸出變數寫作Y。輸入、輸出變數所取的值用小寫字母表示，屬兔變數的值寫作x，輸出變數的值寫作y。變數可以是標量或向量，都是相同類型字母表示：

        輸入執行個體：x=(x(1),x(2),...,x(i),...,x(n))T

x(i)表示x的第i個特徵。    監督學習從訓練資料（training data）集合中學習模型，對測試資料（test data）進行預測。訓練資料由輸入（或特徵向量）與輸出對組成，訓練集同城表示為

                  T={(x1,y1),(x2,y2),...,(xN,yN)}

測試資料也由相應的輸入與輸出對組成，輸入與輸出對又稱為樣本（sample）或樣本點。