大資料實戰課程第一季Python基礎和網路爬蟲資料分析

標籤：網頁爬蟲

大資料實戰課程第一季Python基礎和網路爬蟲資料分析
網盤地址：https://pan.baidu.com/s/1qYdWERU 密碼: yegz

課程共10章，66小節

本課程面向從未接觸過Python的學員，從最基礎的文法開始講起，逐步進入到目前各種流行的應用。整個課程分為基礎和實戰兩個單元。

基礎部分包括Python文法和物件導向、函數式編程兩種編程範式，基礎部分會介紹Python語言中的各種特色資料結構，如何使用包和函數，協助同學快速通過文法關。

在實戰部分選擇了網路爬蟲、資料庫開發、Web網站3種最基礎的應用類型，詳細介紹其思想原理，並通過案例講解Python中的實現方案，讓學員真正達到融會貫通、舉一反三的效果。並應用到自己的工作環境中。

1.Python語言開發要點詳解
一、模組的概念.主模組和非主模組的區別.pycharm中定義代碼模版
二、安裝pip 多個虛擬python環境
三、文法.變數.內建類型.運算子
四、if.for.while.else
五、資料結構.列表.元組.字典.集合
六、函數.類.異常
 
2.Python資料類型
七、列表和列表解析
八、filter和map
九、產生器表達是
十、元組
十一、字串
十二、字串之中文處理
十三、字典
十四、集合
 
3.函數和函數式編程
十五、函數參數和變長參數列表
十六、函數傳回值.變數範圍.和函數__doc__屬性
十七、函數的嵌套定義和閉包和裝飾器介紹
十八、裝飾器例子（日誌裝飾器和身份認證裝飾器）
十九、迭代器和產生器1
二十、產生器例子
 
4.物件導向編程
二十一、認識經典類和新式類
二十二、公有屬性和私人屬性屬性
二十三、訪問屬性.屬性裝飾器.描述符
二十四、描述符
二十五、方法.執行個體方法.靜態方法.類方法
二十六、特殊方法.運算子多載
二十七、繼承.多重繼承.super
 
5.網頁爬蟲(單線程,儲存到文字檔)
二十八、爬蟲介紹
二十九、工具包介紹
三十、request使用示範
三十一、xpath介紹
三十二、xpath使用示範
三十三、新聞爬蟲
三十四、分頁欄爬蟲
三十五、豆瓣爬蟲
 
6.mysql資料庫
三十六、概述.sql資料庫和nosql資料庫的區別
三十七、環境準備.驅動包介紹
三十八、mysqlconnector的使用
三十九、mysqldb使用
四十、sqlalchemy介紹.ORM的優點介紹
四十一、sqlalchemy開發流程
四十二、sqlalchemy代碼示範.1
四十三、sqlalchemy代碼示範2
 
7.mongodb資料庫
四十四、mongodb介紹
四十五、安裝.命令列.mongovue示範
四十六、python中插入記錄
四十七、python中查詢記錄
四十八、python中更新記錄
四十九、python中刪除記錄
五十、彙總操作
 
8.多線程和多進程
五十一、概述
五十二、多線程編程
五十三、多進程編程
五十四、綜合案例-網路爬蟲3
 
9.scrapy實戰
五十五、scrapy介紹和安裝
五十六、scrapy項目架構
五十七、scrapy架構和案例需求分析
五十八、實戰
 
10.django實戰
五十九、django架構介紹
六十、階段1.安裝.建立項目.建立應用.初始配置
六十一、階段1.配置URL映射.視圖函數
六十二、階段2.定義ORM並註冊到後台管理模組
六十三、階段3.模版的繼承.表單的使用.資料的展示
六十四、階段4.多應用URL配置.資料的DML操作
六十五、部署知識介紹
 

大資料實戰課程第一季Python基礎和網路爬蟲資料分析