評分
☆☆☆☆☆
入門 每個知識點點到為止 全麵淺層瞭解python爬蟲的一本書 翻譯的還行 隻是長句斷句讓人揪心啊
評分
☆☆☆☆☆
Beautifulsoup
評分
☆☆☆☆☆
看瞭一點,感覺沒進入狀態,看不明白。
評分
☆☆☆☆☆
入門 每個知識點點到為止 全麵淺層瞭解python爬蟲的一本書 翻譯的還行 隻是長句斷句讓人揪心啊
評分
☆☆☆☆☆
非常提綱攜領地講解瞭python爬蟲可能涉及到的各個方麵的知識。非常全麵和廣泛,但也犧牲瞭細節。不錯的代碼實例一定程度上彌補瞭細節不足的缺陷。算是鳥瞰整個知識領域的書,值得入門閱讀。
譯者序 ix
前言 xi
第一部分 創建爬蟲
第1章 初見網絡爬蟲 2
1.1 網絡連接 2
1.2 BeautifulSoup簡介 4
1.2.1 安裝BeautifulSoup 5
1.2.2 運行BeautifulSoup 7
1.2.3 可靠的網絡連接 8
第2章 復雜HTML解析 11
2.1 不是一直都要用錘子 11
2.2 再端一碗BeautifulSoup 12
2.2.1 BeautifulSoup的find()和findAll() 13
2.2.2 其他BeautifulSoup對象 15
2.2.3 導航樹 16
2.3 正則錶達式 19
2.4 正則錶達式和BeautifulSoup 23
2.5 獲取屬性 24
2.6 Lambda錶達式 24
2.7 超越BeautifulSoup 25
第3章 開始采集 26
3.1 遍曆單個域名 26
3.2 采集整個網站 30
3.3 通過互聯網采集 34
3.4 用Scrapy采集 38
第4章 使用API 42
4.1 API概述 43
4.2 API通用規則 43
4.2.1 方法 44
4.2.2 驗證 44
4.3 服務器響應 45
4.4 Echo Nest 46
4.5 Twitter API 48
4.5.1 開始 48
4.5.2 幾個示例 50
4.6 Google API 52
4.6.1 開始 52
4.6.2 幾個示例 53
4.7 解析JSON數據 55
4.8 迴到主題 56
4.9 再說一點API 60
第5章 存儲數據 61
5.1 媒體文件 61
5.2 把數據存儲到CSV 64
5.3 MySQL 65
5.3.1 安裝MySQL 66
5.3.2 基本命令 68
5.3.3 與Python整閤 71
5.3.4 數據庫技術與最佳實踐 74
5.3.5 MySQL裏的“六度空間遊戲” 75
5.4 Email 77
第6章 讀取文檔 80
6.1 文檔編碼 80
6.2 純文本 81
6.3 CSV 85
6.4 PDF 87
6.5 微軟Word和.docx 88
第二部分 高級數據采集
第7章 數據清洗 94
7.1 編寫代碼清洗數據 94
7.2 數據存儲後再清洗 98
第8章 自然語言處理 103
8.1 概括數據 104
8.2 馬爾可夫模型 106
8.3 自然語言工具包 112
8.3.1 安裝與設置 112
8.3.2 用NLTK做統計分析 113
8.3.3 用NLTK做詞性分析 115
8.4 其他資源 119
第9章 穿越網頁錶單與登錄窗口進行采集 120
9.1 Python Requests庫 120
9.2 提交一個基本錶單 121
9.3 單選按鈕、復選框和其他輸入 123
9.4 提交文件和圖像 124
9.5 處理登錄和cookie 125
9.6 其他錶單問題 127
第10章 采集JavaScript 128
10.1 JavaScript簡介 128
10.2 Ajax和動態HTML 131
10.3 處理重定嚮 137
第11章 圖像識彆與文字處理 139
11.1 OCR庫概述 140
11.1.1 Pillow 140
11.1.2 Tesseract 140
11.1.3 NumPy 141
11.2 處理格式規範的文字 142
11.3 讀取驗證碼與訓練Tesseract 146
11.4 獲取驗證碼提交答案 151
第12章 避開采集陷阱 154
12.1 道德規範 154
12.2 讓網絡機器人看起來像人類用戶 155
12.2.1 修改請求頭 155
12.2.2 處理cookie 157
12.2.3 時間就是一切 159
12.3 常見錶單安全措施 159
12.3.1 隱含輸入字段值 159
12.3.2 避免蜜罐 160
12.4 問題檢查錶 162
第13章 用爬蟲測試網站 164
13.1 測試簡介 164
13.2 Python單元測試 165
13.3 Selenium單元測試 168
13.4 Python單元測試與Selenium單元測試的選擇 172
第14章 遠程采集 174
14.1 為什麼要用遠程服務器 174
14.1.1 避免IP地址被封殺 174
14.1.2 移植性與擴展性 175
14.2 Tor代理服務器 176
14.3 遠程主機 177
14.3.1 從網站主機運行 178
14.3.2 從雲主機運行 178
14.4 其他資源 179
14.5 勇往直前 180
附錄A Python簡介 181
附錄B 互聯網簡介 184
附錄C 網絡數據采集的法律與道德約束 188
作者簡介 200
封麵介紹 200
· · · · · · (
收起)
評分
☆☆☆☆☆
第177页的代码从逻辑上就不对啊,import的pytesseract就没用,而是通过subprocess调用,这应该是第一版的思路,不过我也搞不清这是作者还是译者的锅,把代码改成如下更合理 import time from urllib.request import urlretrieve from PIL import Image import pytesseract from...
評分
☆☆☆☆☆
作者显然是此行达人,踩坑踩多了都是直接上经验。 书里的代码很优美、正规并且很简洁,运用了大量的递归算法和正则表达式。但是有些地方译者翻译的有误,比如第31页,倒数第六行冒号翻译成了分号,显然运行了源码并且对比了wiki网站才会知道这是误翻译。 另外,作者源码也有错...
評分
☆☆☆☆☆
我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看...
評分
☆☆☆☆☆
評分
☆☆☆☆☆
我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看过了 我看...