說(shuō)起爬蟲(chóng)大家肯定感覺(jué)這個(gè)是比較高深的，腦海中在想著(zhù)各種各樣的代碼，我們都知道爬蟲(chóng)的主要是使用在：

1.搜索引擎中是每天都會(huì )啟動(dòng)爬蟲(chóng)去抓取網(wǎng)頁(yè)的，這樣的是為了更好的抓取好的內容，讓資料更便捷，快速的達成客戶(hù)想要的結果。

2.數據服務(wù)的公司：我們常用的而一些查詢(xún)企業(yè)或者展示數據的工具，同樣他們也是需要爬蟲(chóng)數據的；

3.電商中一些系統：比如比價(jià)系統，是需要聚合與整合一些系統的。

實(shí)際上我們要爬取的數據大部分是非結構化數據(html 網(wǎng)頁(yè)等),需要對這些數據做進(jìn)一步地處理（爬蟲(chóng)中的數據清洗階段）,而且每個(gè)我們爬取的數據中也很有可能包含著(zhù)大量待爬取網(wǎng)頁(yè)的 url,也就是說(shuō)需要有 url 隊列管理，另外請求有時(shí)候還需求登錄，每個(gè)請求也需要添加 Cookie，也就涉及到 Cookie 的管理，在這種情況下考慮 Scrapy 這樣的框架是必要的！

這個(gè)時(shí)候我們一般采用正則表達式：

以css, xpath為代表的結構化解析(即將文檔以DOM樹(shù)的形式重新組織，通過(guò)查找獲取節點(diǎn)進(jìn)而提取數據的方式), Python中的 html.parser,BeautifulSoup,lxml 皆是此類(lèi)范疇。

框架的設計我們要考慮哪些因素的處理：

url 隊列管理:比如如何防止對同一個(gè) url 重復爬取(去重),如果是在一臺機器上可能還好，如果是分布式爬取呢

Cookie 管理:有一些請求是需要帳號密碼驗證的,驗證之后需要用拿到的 Cookie 來(lái)訪(fǎng)問(wèn)網(wǎng)站后續的頁(yè)面請求，如何緩存住 Cookie 以便后續進(jìn)一步的操作

多線(xiàn)程管理:前面說(shuō)了如果待爬取URL很多的話(huà)，加載解析的工作是很大的，單線(xiàn)程爬取顯然不可行，那如果用多線(xiàn)程的話(huà)，管理又是一件大麻煩

User-Agent 與動(dòng)態(tài)代理的管理: 目前的反爬機制其實(shí)也是比較完善的,如果我們用同樣的UA,同樣的IP不節制地連續對同一個(gè)網(wǎng)站多次請求，很可能立馬被封， 此時(shí)我們就需要使用 random-ua ,動(dòng)態(tài)代理來(lái)避免被封

動(dòng)態(tài)生成數據的爬取:一般通過(guò) GET 請求獲取的網(wǎng)頁(yè)數據是包含著(zhù)我們需要的數據的，但有些數據是通過(guò) Ajax 請求動(dòng)態(tài)生成，這樣的話(huà)該如何爬取

DEBUG

爬蟲(chóng)管理平臺: 爬蟲(chóng)任務(wù)多時(shí),如何查看和管理這些爬蟲(chóng)的狀態(tài)和數據

也就是說(shuō)好的內容展現，需要大家在過(guò)程中區注意一些程序內容的搭建，當然今天小編所說(shuō)的爬蟲(chóng)系統的內容是偏理論性的東西，具體的操作我們后續會(huì )繼續為大家呈現，更多的精彩內容請關(guān)注我們的網(wǎng)站：http://www.sg8020.com