IPython Notebook 運行python Spark程式

標籤：nbsp   lse   https   bootstra   server   exp   ipy   技術分享   trap   

1.安裝pip

因為centos7.0內建的python系統是2.7.5，並沒有安裝pip,需要先安裝pip

$ wget https://bootstrap.pypa.io/get-pip.py$ python get-pip.py$ pip install numpy pandas scipy jupyter

　　

2.配置啟動項

$ vim ./.bashrcexport PYSPARK_DRIVER_PYTHON=/usr/bin/ipythonexport PYSPARK_PYTHON=/usr/bin/python$ source ./.bashrc

　　

3.jupyter 無法遠端存取

$ jupyter notebook --allow-root　　

其實這時候，local如果有browser的話，就可以輸入訪問了，但是沒有，所以需要遠端存取： http://ip:8888，發現訪問不了

 

（一）配置遠端存取jupyter

1）首先輸入ipython產生秘鑰

 

$ ipythonfrom notebook.auth import passwdpasswd()

　　

設定一個密碼，會產生一個sha1的秘鑰，如：

 

2）產生jupyter的config檔案

$ jupyter notebook --generate-config

　　

這時候會組建組態檔案，在 ~/.jupyter/jupyter_notebook_config.py

 

3）修改設定檔：~/.jupyter/jupyter_notebook_config.py

 

$vim ~/.jupyter/jupyter_notebook_config.py

　　

加入如下內容，其中sha1那一串秘鑰是上面產生的那一串

 

c.NotebookApp.ip=‘*‘c.NotebookApp.password = u‘sha1:f9030dd55bce:75fd7bbaba41be6ff5ac2e811b62354ab55b1f63‘c.NotebookApp.open_browser = Falsec.NotebookApp.port =8888

儲存退出。

 

4）啟動jupyter

 

$jupyter notebook --allow-root

　　

在遠程電腦上，開啟瀏覽器，輸入：

 

http://your-server-ip:8888

 

需要輸入密碼，就是上面設定的那個密碼，輸入即可

 

4.啟動

$ PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook --allow-root" pyspark # 其中--allow-root是因為root登入master

　　

 

IPython Notebook 運行python Spark程式