此部分為隱藏內(nèi)容，請(qǐng)輸入驗(yàn)證碼后查看
掃描右側(cè)圖片或微信搜索 “ Java技術(shù)分享屋 ” ，回復(fù) “ 驗(yàn)證碼 ” ，獲取驗(yàn)證密碼。
本資料僅供讀者預(yù)覽及學(xué)習(xí)交流使用，不能用于商業(yè)用途，請(qǐng)?jiān)谙螺d后24小時(shí)內(nèi)刪除。如果喜歡，請(qǐng)購(gòu)買正版！
一.資料圖片
二.資料簡(jiǎn)介
作為一種便捷地收集網(wǎng)上信息并從中抽取出可用信息的方式，網(wǎng)絡(luò)爬蟲技術(shù)變得越來(lái)越有用。使用Python這樣的簡(jiǎn)單編程語(yǔ)言，你可以使用少量編程技能就可以爬取復(fù)雜的網(wǎng)站。
《用Python寫網(wǎng)絡(luò)爬蟲》作為使用Python來(lái)爬取網(wǎng)絡(luò)數(shù)據(jù)的杰出指南，講解了從靜態(tài)頁(yè)面爬取數(shù)據(jù)的方法以及使用緩存來(lái)管理服務(wù)器負(fù)載的方法。此外，本書還介紹了如何使用AJAX URL和Firebug擴(kuò)展來(lái)爬取數(shù)據(jù)，以及有關(guān)爬取技術(shù)的更多真相，比如使用瀏覽器渲染、管理cookie、通過(guò)提交表單從受驗(yàn)證碼保護(hù)的復(fù)雜網(wǎng)站中抽取數(shù)據(jù)等。本書使用Scrapy創(chuàng)建了一個(gè)高級(jí)網(wǎng)絡(luò)爬蟲，并對(duì)一些真實(shí)的網(wǎng)站進(jìn)行了爬取。
《用Python寫網(wǎng)絡(luò)爬蟲》介紹了如下內(nèi)容：
通過(guò)跟蹤鏈接來(lái)爬取網(wǎng)站；
使用lxml從頁(yè)面中抽取數(shù)據(jù)；
構(gòu)建線程爬蟲來(lái)并行爬取頁(yè)面；
將下載的內(nèi)容進(jìn)行緩存，以降低帶寬消耗；
解析依賴于JavaScript的網(wǎng)站；
與表單和會(huì)話進(jìn)行交互；
解決受保護(hù)頁(yè)面的驗(yàn)證碼問(wèn)題；
對(duì)AJAX調(diào)用進(jìn)行逆向工程；
使用Scrapy創(chuàng)建高級(jí)爬蟲。
本書讀者對(duì)象
本書是為想要構(gòu)建可靠的數(shù)據(jù)爬取解決方案的開(kāi)發(fā)人員寫作的，本書假定讀者具有一定的Python編程經(jīng)驗(yàn)。當(dāng)然，具備其他編程語(yǔ)言開(kāi)發(fā)經(jīng)驗(yàn)的讀者也可以閱讀本書，并理解書中涉及的概念和原理。
三.作者簡(jiǎn)介
Richard Lawson來(lái)自澳大利亞，畢業(yè)于墨爾本大學(xué)計(jì)算機(jī)科學(xué)專業(yè)。畢業(yè)后，他創(chuàng)辦了一家專注于網(wǎng)絡(luò)爬蟲的公司，為超過(guò)50個(gè)國(guó)家的業(yè)務(wù)提供遠(yuǎn)程工作。他精通于世界語(yǔ)，可以使用漢語(yǔ)和韓語(yǔ)對(duì)話，并且積極投身于開(kāi)源軟件。他目前在牛津大學(xué)攻讀研究生學(xué)位，并利用業(yè)余時(shí)間研發(fā)自主無(wú)人機(jī)。四.資料目錄
目錄第1章 網(wǎng)絡(luò)爬蟲簡(jiǎn)介 1
1.1 網(wǎng)絡(luò)爬蟲何時(shí)有用 1
1.2 網(wǎng)絡(luò)爬蟲是否合法 2
1.3 背景調(diào)研 3
1.3.1 檢查robots.txt 3
1.3.2 檢查網(wǎng)站地圖 4
1.3.3 估算網(wǎng)站大小 5
1.3.4 識(shí)別網(wǎng)站所用技術(shù) 7
1.3.5 尋找網(wǎng)站所有者 7
1.4 編寫第一個(gè)網(wǎng)絡(luò)爬蟲 8
1.4.1 下載網(wǎng)頁(yè) 9
1.4.2 網(wǎng)站地圖爬蟲 12
1.4.3 ID遍歷爬蟲 13
1.4.4 鏈接爬蟲 15
1.5 本章小結(jié) 22
第2章 數(shù)據(jù)抓取 23
2.1 分析網(wǎng)頁(yè) 23
2.2 三種網(wǎng)頁(yè)抓取方法 26
2.2.1 正則表達(dá)式 26
2.2.2 Beautiful Soup 28
2.2.3 Lxml 30
2.2.4 性能對(duì)比 32
2.2.5 結(jié)論 35
2.2.6 為鏈接爬蟲添加抓取回調(diào) 35
2.3 本章小結(jié) 38
第3章 下載緩存 39
3.1 為鏈接爬蟲添加緩存支持 39
3.2 磁盤緩存 42
3.2.1 實(shí)現(xiàn) 44
3.2.2 緩存測(cè)試 46
3.2.3 節(jié)省磁盤空間 46
3.2.4 清理過(guò)期數(shù)據(jù) 47
3.2.5 缺點(diǎn) 48
3.3 數(shù)據(jù)庫(kù)緩存 49
3.3.1 NoSQL是什么 50
3.3.2 安裝MongoDB 50
3.3.3 MongoDB概述 50
3.3.4 MongoDB緩存實(shí)現(xiàn) 52
3.3.5 壓縮 54
3.3.6 緩存測(cè)試 54
3.4 本章小結(jié) 55
第4章 并發(fā)下載 57
4.1 100萬(wàn)個(gè)網(wǎng)頁(yè) 57
4.2 串行爬蟲 60
4.3 多線程爬蟲 60
4.3.1 線程和進(jìn)程如何工作 61
4.3.2 實(shí)現(xiàn) 61
4.3.3 多進(jìn)程爬蟲 63
4.4 性能 67
4.5 本章小結(jié) 68
第5章 動(dòng)態(tài)內(nèi)容 69
5.1 動(dòng)態(tài)網(wǎng)頁(yè)示例 69
5.2 對(duì)動(dòng)態(tài)網(wǎng)頁(yè)進(jìn)行逆向工程 72
5.3 渲染動(dòng)態(tài)網(wǎng)頁(yè) 77
5.3.1 PyQt還是PySide 78
5.3.2 執(zhí)行JavaScript 78
5.3.3 使用WebKit與網(wǎng)站交互 80
5.3.4 Selenium 85
5.4 本章小結(jié) 88
第6章 表單交互 89
6.1 登錄表單 90
6.2 支持內(nèi)容更新的登錄腳本擴(kuò)展 97
6.3 使用Mechanize模塊實(shí)現(xiàn)自動(dòng)化表單處理 100
6.4 本章小結(jié) 102
第7章 驗(yàn)證碼處理 103
7.1 注冊(cè)賬號(hào) 103
7.2 光學(xué)字符識(shí)別 106
7.3 處理復(fù)雜驗(yàn)證碼 111
7.3.1 使用驗(yàn)證碼處理服務(wù) 112
7.3.2 9kw入門 112
7.3.3 與注冊(cè)功能集成 119
7.4 本章小結(jié) 120
第8章 Scrapy 121
8.1 安裝 121
8.2 啟動(dòng)項(xiàng)目 122
8.2.1 定義模型 123
8.2.2 創(chuàng)建爬蟲 124
8.2.3 使用shell命令抓取 128
8.2.4 檢查結(jié)果 129
8.2.5 中斷與恢復(fù)爬蟲 132
8.3 使用Portia編寫可視化爬蟲 133
8.3.1 安裝 133
8.3.2 標(biāo)注 136
8.3.3 優(yōu)化爬蟲 138
8.3.4 檢查結(jié)果 140
8.4 使用Scrapely實(shí)現(xiàn)自動(dòng)化抓取 141
8.5 本章小結(jié) 142
第9章 總結(jié) 143
9.1 Google搜索引擎 143
9.2 Facebook 148
9.2.1 網(wǎng)站 148
9.2.2 API 150
9.3 Gap 151
9.4 寶馬 153
9.5 本章小結(jié) 157