程式員之資料分析Python技術棧

標籤：ros   儲存   學習   dfa   基於   連續   文檔   網上   應用程式   

引言： Python是一種非常流行的指令碼語言，其還提供了一個科學技術棧，可以進行快捷方便的資料分析，本系列文章將聚焦在如何使用基於Python的技術棧來構建資料分析的工具集合。工欲善其事，必先利其器，讓我們來看看這些工具吧。

0. 資料分析 以及機器學習

資訊時代唯一不變的就是變化。 隨著資訊化技術的推廣和應用，大資料技術的大規模應用，於是乎資料分析、資料採礦、機器學習甚至於從前高大上的人工智慧（AI）已經開始頻繁出現在各個場合，這一切昭示著資料時代的來臨。

對於程式猿們來說，除了寫代碼，實現特定的功能之外，在這個紛繁變化的時代，也需要去瞭解和掌握一些資料分析的技能與工具，正如之前掌握一些Linux/資料庫方面的技能一樣；有了這些技能，可以給你大大加分，或許可以協助你進入了一個嶄新的廣闊領域。

1. Python是什嗎？

Python是大名鼎鼎的泛型指令碼語言，可以滿足全功能的程式設計需求；目前主流的是2.7.x和3.x版本，在2020年之時，2.x版本將不再被繼續支援。 Python最大的有點就是簡單易學，所以在其他領域內，應用甚廣。我們這裡所講的各類工具包，都是建立在Python之上的。

2. IPython是什嗎？

ipython 是一個 python 的互動式 shell，比預設的python shell 好用得多，支援變數自動補全，自動縮排，支援 bash shell 命令，內建了許多很有用的功能和函數。對於諸多的程式猿們來說，這個就是一個極為強大的互動工具，基本上後續的諸多資料分析操作都是建立在ipython之上的。

ipython提供了多種實用模式，包括：terminal，介面以及web的互動介面等，非常的強大與易用。

安裝指南： http://ipython.org/install.html

3. Numpy

NumPy系統是Python的一種開源的數值計算擴充。這種工具可用來儲存和處理大型矩陣，比Python自身的嵌套列表（nested list structure)結構要高效的多（該結構也可以用來表示矩陣（matrix））。據說NumPy將Python相當於變成一種免費的更強大的MatLab系統。

其速度很快，且功能強大，可以支援線性代數運算，傅立葉變換、隨機數產生等等各類的數學元算。

官方網站： http://www.numpy.org/

4. Pandas

Python Data Analysis Library 或 pandas 是基於NumPy 的一種工具，該工具是為瞭解決資料分析任務而建立的。Pandas 納入了大量庫和一些標準的資料模型，提供了高效地操作大型資料集所需的工具。pandas提供了大量能使我們快速便捷地處理資料的函數和方法。你很快就會發現，它是使Python成為強大而高效的資料分析環境的重要因素之一。

其中提供了DataFrame的強大二維結構來做為資料分析的基本結構主體，Series做為高效的資料群組結構來使用。 Pandas兼具Numpy高效能的數組計算功能以及試算表、關聯式資料庫（SQL）靈活得資料分析功能， 可以方便地完成重塑、切片、切塊、彙總、排序以及選取資料子集等操作。

官方網站: http://pandas.pydata.org/

5. Matplotlib(圖形展示包）

matplotlib 是python最著名的繪圖庫，它提供了一整套和matlab相似的命令API，十分適合互動式地進行製圖。而且也可以方便地將它作為繪圖控制項，嵌入GUI應用程式中，它的文檔相當完備，應用非常廣泛，是Python進行資料分析的必備工具。且其已經與Pandas等工具包進行了深度整合，可以在pandas中直接調用各類繪圖函數，直接產生對應圖表。

官方網站: http://matplotlib.org/

6. Scipy

SciPy是一款方便、便於使用、專為科學和工程設計的Python工具包.它包括統計,最佳化,整合,線性代數模組,傅裡葉變換,訊號和影像處理,常微分方程求解器等等.

scipy有一個stats包，其中可以包含標準連續、離散機率分布、各類統計檢驗方法，以及更好的描述統計方法。

Numpy與Scipy的結合使用可以完全替代Matlab中的計算功能（包括其外掛程式工具箱）

官方網站： http://www.scipy.org/

7. 常用的開發工具

以下為兩個非常強大的整合式開發環境，整合了各類所需的開發包，大家可以自行從官網上下載對應版本， 支援各類平台（window, mac, linux)以及32位/64位系統。

• Canopy https://www.enthought.com/products/canopy/ 
  

• Anaconda https://www.continuum.io/downloads
  

7. 總結

在Python的社區中有非常多的工具， 比如keras就是一個強大的機器學習的實現包，且已經可以直接使用Tensorflow實現卷積神經的計算，相當的騷包。 好了，希望大家通過本文對基於Python的資料分析技術棧有個直觀的認識。稍後的文章中，我們還將逐步詳細介紹如何來一步一步實現資料分析的工作。

－－－－－－－－－－　罪惡的結束線，文章終於結束了 --------------------------------------------------------------
本文系CDSN的博主木小魚的筆記個人原創，如要轉載，請保留原始連結和原作者資訊，支援原創，方便你我。
作者本文也維護了一個今日頭條上的頭條號：程式加油站，歡迎大家關注。

程式員之資料分析Python技術棧