基於英特爾® 至強 E5 系列處理器的單節點 Caffe 評分和訓練

標籤：ice   分享   伯克利   zh-cn   映像   .so   fork   library   min   

原文連結

     在互連網搜尋引擎和醫學成像等諸多領域，深度神經網路 (DNN) 應用的重要性正在不斷提升。 Pradeep Dubey 在其博文中概述了英特爾? 架構機器學習願景。 英特爾正在實現 Pradeep Dubey 博文中勾勒的機器學習願景，並正在著手開發軟體解決方案以加速執行機器學習工作負載。這些解決方案將包含在未來版本的英特爾? 數學核心函數庫（英特爾? MKL）和英特爾? 資料分析加速庫（英特爾? DAAL）中。 本技術預覽版展示了配備我們正在開發的軟體後，英特爾平台將有望實現的效能。  這一版本僅可在支援英特爾? 進階向量擴充指令集 2（英特爾? AVX2）的處理器上運行。 在未來的文章中，我們將介紹分布式多節點配置可帶來的優勢。

     本文介紹的預覽包功能有限，且並非設計用於生產用途。 此處討論的特性現已在英特爾 MKL 2017 測試版和英特爾 Caffe 分支 (fork) 中推出。

    Caffe 是伯克利願景和學習中心 (Berkeley Vision and Learning Center, BVLC) 開發的一個深度學習架構，也是最常用的用於Image Recognition的社區架構之一。 Caffe 通常作為效能指標評測與 AlexNet（一種Image Recognition神經網路拓撲）和 ImageNet（一種標籤映像資料庫）一起使用。

Caffe 可充分利用英特爾 MKL 中最佳化的數學常式，同時也將可以通過應用代碼現代化技術，進一步提升基於英特爾? 至強? 處理器的系統的效能。 通過合理使用英特爾 MKL、向量化和並行化技術，相比未最佳化的 Caffe 方案，經過最佳化的方案有望將訓練效能提升 11 倍，將分類效能提升 10 倍。

藉助這些最佳化，在整個 ILSVRC-2012 資料集上訓練 AlexNet* 網路以在 80% 的時間實現排名前五的準確度，所需的時間從 58 天縮短至大約 5 天。

開始

我們正努力為軟體產品開發新功能，目前您可使用本文附帶的技術預覽包再現展示的效能結果，甚至使用您自己的資料集訓練 AlexNet。

該預覽包支援 AlexNet 拓撲，並引入了“intel_alexnet”模型，它類似於 bvlc_alexnet，添加了 2 個全新的“IntelPack“和“IntelUnpack”層，以及最佳化的卷積、池化和正常化層。 此外，我們還更改了驗證參數以提高向量化效能，將驗證 minibatch 的數值從 50 提高到 256，將測試迭代次數從 1000 減少到 200，從而使驗證運行中使用的映像數量保持不變。 該預覽包在以下檔案中加入了 intel_alexnet 模型：

• models/intel_alexnet/deploy.prototxt
• models/intel_alexnet/solver.prototxt
• models/intel_alexnet/train_val.prototxt.

“intel_alexnet”模型支援您訓練和測試 ILSVRC-2012 訓練集。

開始使用該預覽包時，請確保“系統要求和限制”中列出的所有常規 Caffe 依賴項均已安裝在系統中，然後：

• 對預覽包進行解包。
• 為以下“intel_alexnet”模型檔案中的資料庫、快照位置和映像均值檔案指定路徑。
  • models/intel_alexnet/deploy.prototxt
  • models/intel_alexnet/solver.prototxt
  • models/intel_alexnet/train_val.prototxt
• 為“系統要求和限制”部分列出的軟體工具設定運行時環境。
• 在 LD_LIBRARY_PATH 環境變數中添加 ./build/lib/libcaffe.so 路徑
• 設定線程環境：
  $> export OMP_NUM_THREADS=<N_processors * N_cores>
  $> export KMP_AFFINITY=compact,granularity=fine
• 使用以下命令在單節點上執行計時：
  $> ./build/tools/caffe time \
         -iterations <number of iterations> \
         --model=models/intel_alexnet/train_val.prototxt
• 使用以下命令在單節點上執行訓練：
  $> ./build/tools/caffe train \
         --solver=models/intel_alexnet/solver.prototxt

系統要求和限制

該預覽包與未最佳化的 Caffe 擁有相同的軟體依賴項：

• boost* 1.53.0
• opencv* 2.4.9
• protobuf* 3.0.0-beta1
• glog* 0.3.4
• gflags* 2.1.2
• lmdb* 0.9.16
• leveldb* 1.18
• hdf5* 1.8.15
• Red Hat Enterprise Linux* 6.5 或更高版本

和英特爾 MKL 11.3 或更高版本。

硬體相容性：

• 第四代智能英特爾? 酷睿? 處理器（代號 Haswell）

此軟體僅使用 AlexNet 拓撲進行了驗證，可能不適用於其他配置。

支援：

如有關於該預覽包的任何問題和建議，請聯絡：mailto:[email protected]。

基於英特爾® 至強 E5 系列處理器的單節點 Caffe 評分和訓練