深度學習反思_深度學習

深度學習反思 伴隨著電腦硬體效能的提升，深度學習在當今如同時代的寵兒，Computer Vision，Data mining，Nature Language Process....都搭上深度學習的專車，並最終坐上了波音客機。深度學習的架構一個接一個的浮出水面，caffe，tensor flow，cxxnet， mxnet....，而且這些架構已經不屑於在單機單卡的圈圈裡面混跡了，他們藉助hadoop以及spark這些大資料操作的的燃料，儼然是要造出火箭了。 這些深度學習的富豪們絲毫不把成本和規模放在眼裡，這秉性確更像富二代，哈哈。本文權當是給這些富二代送去一些不痛不癢的警示吧。 深度學習最終擬合的模型，對資料的分類確實很有效，對於資料的邊界也的確能劃分的很好。這些訓練後的模型，相當於眾多非線性函數疊加產生的結果。很少paper關注這些非線性函數的相關性，倘若在確定神經元之間的串連和權重後，能對每條神經元的線路統計，並確定這些神經元組成的非線性函數組成的空間，並從中提取正交的函數集，是不是能減少網路的規模呢。 日後打算研究下這個方向，卻是真知“拙”見，希望大家不要見笑