課程介紹

生活中大家在上網(wǎng)時(shí)都有一些喜歡的圖片，喜歡的音樂(lè)，喜歡的小說(shuō)或文章，工作中也有一些東西需要從網(wǎng)上獲取并進(jìn)行數(shù)據(jù)分析，我們傳統(tǒng)方式獲取這些信息可能是**復(fù)制粘貼或者一個(gè)個(gè)**而來(lái)，且有的數(shù)據(jù)還不能直接獲取到，當(dāng)我們生活或工作中想要批量獲取網(wǎng)絡(luò)結(jié)構(gòu)化數(shù)據(jù)的時(shí)候，手工操作的方式效率太低，大量數(shù)據(jù)獲取的需求讓人力不從心，而爬蟲(chóng)就可以解決這樣的問(wèn)題，讓**批量地從網(wǎng)上獲取數(shù)據(jù)并按自己想要的方式存儲(chǔ)不再是問(wèn)題。獲取下來(lái)的數(shù)據(jù)可以自己及時(shí)欣賞，也可以結(jié)構(gòu)化地存儲(chǔ)到辦公文件或者數(shù)據(jù)庫(kù)中，需要時(shí)取出進(jìn)行查看或者數(shù)據(jù)分析。

?

本期課程利用Python語(yǔ)言從爬蟲(chóng)零基礎(chǔ)開(kāi)始系統(tǒng)地教大家如何一步步編寫(xiě)爬蟲(chóng)代碼完成網(wǎng)絡(luò)數(shù)據(jù)的爬取，得到自己想要的結(jié)構(gòu)化數(shù)據(jù)。課程會(huì)**理論+代碼實(shí)踐的方式由淺入深地教會(huì)大家爬蟲(chóng)編寫(xiě)技能，每一章理論完了之后會(huì)**一個(gè)案例來(lái)給大家展示如何一步步編寫(xiě)代碼來(lái)實(shí)現(xiàn)爬取不同類(lèi)型網(wǎng)站的數(shù)據(jù)，只要大家能跟著我的思路一步步操作和理解就能完成，并且**舉一反三就能爬取自己想要的結(jié)構(gòu)化信息。

?

本課程主要針對(duì)爬蟲(chóng)零基礎(chǔ)的同學(xué)（至少有一定編程基礎(chǔ)，能基本看懂代碼邏輯，**有Python基礎(chǔ)，有其他語(yǔ)言基礎(chǔ)的同學(xué)可以先了解一下Python特點(diǎn)和基本的語(yǔ)法結(jié)構(gòu)，有一定熟悉度之后學(xué)習(xí)起來(lái)才會(huì)非?！。耆珱](méi)編程基礎(chǔ)的同學(xué)可以先學(xué)習(xí)一下Python基礎(chǔ)語(yǔ)法，Python是非常容易入手的語(yǔ)言，可以在極短的時(shí)間就能掌握基本語(yǔ)法），學(xué)習(xí)完成后應(yīng)對(duì)互聯(lián)網(wǎng)上百分之八十五的網(wǎng)站數(shù)據(jù)爬取應(yīng)該沒(méi)有問(wèn)題，但是想要成為專(zhuān)業(yè)爬蟲(chóng)工程師，還需要大家學(xué)習(xí)更多的技巧，網(wǎng)絡(luò)知識(shí)，算法知識(shí)等，學(xué)無(wú)止境，大家在課后可以**百度或者一些專(zhuān)業(yè)網(wǎng)站查詢(xún)?cè)谡n堂中我講的自己沒(méi)聽(tīng)明白的問(wèn)題或者我沒(méi)講到的知識(shí)做一些拓展，勤加練習(xí)，那么整個(gè)爬蟲(chóng)課程掌握起來(lái)就會(huì)容易很多。

?

課程內(nèi)容

第 一章 初識(shí)爬蟲(chóng)

概述爬蟲(chóng)課程涉及的概念，內(nèi)容，軟件，工具等等，讓學(xué)員對(duì)即將開(kāi)始的課程有一個(gè)初步了解。

案例：爬取豆瓣電影數(shù)據(jù)

第二章 爬蟲(chóng)步驟及底層原理

講解編寫(xiě)爬蟲(chóng)代碼基本步驟和各步驟類(lèi)型變換過(guò)程。

案例：分析下廚房菜譜的爬蟲(chóng)步驟

第三章 BeautifulSoup實(shí)戰(zhàn)

**BeautifulSoup模塊講解爬蟲(chóng)核心步驟中的數(shù)據(jù)解析和提取方法，完整演示代碼實(shí)現(xiàn)過(guò)程。

案例：編寫(xiě)下廚房菜譜爬蟲(chóng)代碼

第四章 數(shù)據(jù)抓取方法匯總

介紹幾種常用數(shù)據(jù)抓取的方法，雖然只要掌握其中任何一種即可，但多會(huì)幾種的話可以使應(yīng)用更靈活。

案例：以百度為例演示不同的數(shù)據(jù)抓取方法

第五章 Json和動(dòng)態(tài)數(shù)據(jù)

初步了解什么是Json，以及如何**爬蟲(chóng)代碼提取Json數(shù)據(jù)。

案例：QQ音樂(lè)數(shù)據(jù)爬取

第六章 selenium實(shí)戰(zhàn)

selenium模擬人工操作瀏覽器，就像真人操作一樣，利用瀏覽器內(nèi)核操作可以避開(kāi)絕大部分的反爬措施，因此有的人稱(chēng)它為爬蟲(chóng)的終極武器。

案例：模擬QQ郵箱自動(dòng)登錄

第七章 協(xié)程-定時(shí)-數(shù)據(jù)存儲(chǔ)

在實(shí)際的爬蟲(chóng)應(yīng)用中，我們除了爬取數(shù)據(jù)之外，還要考慮爬取數(shù)據(jù)的效率，在指定時(shí)間爬取、周期性爬取數(shù)據(jù)，同時(shí)還要考慮將數(shù)據(jù)如何結(jié)構(gòu)化存儲(chǔ)，存儲(chǔ)在什么位置的問(wèn)題，本章就是來(lái)分析如何解決這些問(wèn)題。

案例：爬取薄荷網(wǎng)食物熱量信息

第八章 Scrapy框架

框架就是一個(gè)完整的結(jié)構(gòu)，就像一輛車(chē)，前面章節(jié)類(lèi)似于一個(gè)一個(gè)零件拼接組成一輛爬蟲(chóng)的車(chē)，而爬蟲(chóng)框架本身就是一輛爬蟲(chóng)車(chē)，只需要加上油和一些關(guān)鍵的零件就可以開(kāi)動(dòng)，scrapy是python爬蟲(chóng)的框架，是專(zhuān)業(yè)爬蟲(chóng)工程師無(wú)法繞開(kāi)的。

案例：爬取豆瓣讀書(shū)數(shù)據(jù)

第九章 反爬和反反爬

爬蟲(chóng)過(guò)程中會(huì)發(fā)現(xiàn)一些網(wǎng)站會(huì)限制爬蟲(chóng)進(jìn)行數(shù)據(jù)爬取，這是網(wǎng)站開(kāi)發(fā)人員基于服務(wù)器壓力或者數(shù)據(jù)安全等原因而做的限制，而爬蟲(chóng)工程師怎么會(huì)甘心自己看上的數(shù)據(jù)而不可得呢，這是雙方技術(shù)人員就會(huì)進(jìn)行博弈，從心理上，技術(shù)上，物理成本和時(shí)間成本上考慮，因此有反爬就會(huì)有反反爬。本章就是分析常見(jiàn)反爬措施和反反爬技巧和思路，拓展爬蟲(chóng)之路。

案例：爬取BOSS直聘數(shù)據(jù)

?

適合人群

python初學(xué)者

初級(jí)爬蟲(chóng)工程師

生活和工作中有批量獲取數(shù)據(jù)需求的人

?

課程背景

隨著信息社會(huì)的不斷發(fā)展，互聯(lián)網(wǎng)上的信息不斷增多，人們基于不同的目的對(duì)網(wǎng)絡(luò)中產(chǎn)生的信息有了提取的意愿和需求，生活中**一些自己喜歡的小說(shuō)、圖片或音樂(lè)，平常學(xué)習(xí)和工作中**一些需要的網(wǎng)絡(luò)資料，另外一些公司可能還需要從網(wǎng)絡(luò)上**大量的數(shù)據(jù)用于專(zhuān)業(yè)的數(shù)據(jù)分析，為企業(yè)發(fā)展決策提供數(shù)據(jù)支撐。而傳統(tǒng)的從互聯(lián)網(wǎng)獲取數(shù)據(jù)都是手工**、復(fù)制粘貼另存等方式，效率很低，在大數(shù)據(jù)時(shí)代需要更加**高效地獲取數(shù)據(jù)和更專(zhuān)業(yè)的存儲(chǔ)數(shù)據(jù)，因此爬蟲(chóng)技術(shù)應(yīng)運(yùn)而生。

?

課程亮點(diǎn)

理論和代碼實(shí)踐緊密結(jié)合，可以**上手學(xué)會(huì)各類(lèi)常用爬蟲(chóng)技巧并用于生活和工作中。

?

課程收獲

學(xué)習(xí)完課程，您將會(huì)掌握python爬蟲(chóng)的基本模塊使用，常用爬蟲(chóng)技巧，并能夠用于實(shí)踐，獨(dú)立爬取各類(lèi)不同的網(wǎng)站數(shù)據(jù)，提升生活和工作效率。

?

課程前提

學(xué)前知識(shí)儲(chǔ)備：有一定代碼編寫(xiě)基礎(chǔ)（如在學(xué)校學(xué)習(xí)過(guò)編程課程，**了解過(guò)python語(yǔ)言，會(huì)編寫(xiě)基本的python代碼**），了解基本的網(wǎng)絡(luò)基礎(chǔ)知識(shí)。