在ubuntu 16.04裡使用python—scrapy將爬取到的資料存到mysql資料庫中的一些隨筆

標籤：現在   mysql資料庫   ble   重啟   指定   pipe   技術   .net   img   

一、將爬取的資料儲存到mysql資料庫的代碼（已經能將爬取的資料儲存到json檔案）

　　（1）編輯Pipeline.py檔案

　　　　

　　（2）編輯settings.py檔案

　　　　

　　　　

二、將資料儲存至mysql資料庫出現的問題

　　（1）在將資料存放區至資料庫的時候，一直報1366的錯，經查資料，發現是資料編碼的問題，在部落格裡找了好幾個解決方案，比較好的記錄下：

　　　　  1. 首先停掉mysql服務，編輯設定檔my.cnf

　　　　　　sudo stop mysql

　　　　　　sudo vim/etc/mysql.cnf

　　　　　　添加：

　　　　　　

　　　　　2. 重啟服務

　　　　　　sudo start mysql

　　　　　　sudo mysql -u root -p

　　　　　　use root

　　　　　　show variables like ‘%char%‘;#更改前存在的使用者字元集不會改變，以後建立的使用者字元集都會變成utf8，重新在資料庫裡建欄位

　　　　　　本段借鑒https://my.oschina.net/sldk/blog/266268

　　（2）在進行爬取儲存的時候，存的資料不完全，經檢查後發現在爬取的資料裡有空資料，所以在爬取的時候應做非空處理

三、匯出資料庫（以FP為例）（我使用的是root使用者）

　　（1）匯出資料和表結構

　　　　使用mysqldump命令，匯出sql指令碼（如果不指定匯出路徑，預設匯出至當前路徑）

　　　　格式：mysqldump -u 使用者名稱 -p （密碼） 資料庫名 > 資料庫名.sql

　　　　　　　mysqldump -u root -p FP > FP.sql

　　　　　　　斷行符號後提示輸入密碼

　　　（2）只匯出表結構

　　　　格式：mysqldump -u 使用者名稱 -p （密碼） -d 資料庫名 > 資料庫名.sql

　　　　　　　mysqldump -u root -p -d FP > FP.sql

二、匯入資料庫

　　匯入和匯出我學習了這位仁兄的部落格

　　https://my.oschina.net/linuxphp/blog/693650

　　

在ubuntu 16.04裡使用python—scrapy將爬取到的資料存到mysql資料庫中的一些隨筆