解決運行pytorch程式多線程問題

標籤：分享   伺服器   簡單的   多進程   int   簡單   tar   har   text   

• 當我使用pycharm運行  (https://github.com/Joyce94/cnn-text-classification-pytorch )  pytorch程式的時候，在Linux伺服器上會開啟多個進程，佔用伺服器的大量的CPU，在windows10上運行此程式的時候，原生CPU和記憶體會被吃光，是因為在train.py中有大量的資料訓練處理，會開啟多個進程，佔用大量的CPU和進程。

• 本機window10

 

• linux伺服器開啟了多個進程

 

• Linux伺服器佔用大量CPU

 

• 在pytorch中提供了（http://pytorch.org/docs/master/multiprocessing.html）muliprocessing多進程管理，其中有Pool進程池、Process()等對進程進行管理，可能是我使用的方式不對，反正是沒有什麼效果。
• 然而最簡單的也是最好的解決辦法 ：torch.set_num_threads(int thread) ，可以很好的解決windows問題，參考（http://pytorch.org/docs/master/torch.html#parallelism） 然而，在linux伺服器上還是有一些問題的，export OMP_NUM_THREADS = 1 可以解決Linux問題。

解決運行pytorch程式多線程問題