使用Python搜刮網路資料的12堂實習課

點閱:1

其他題名:使用Python搜刮網路資料的十二堂實習課

作者:何敏煌, 葉柏漢, 顏凰竹作

出版年:2020[民109]

出版社:博碩文化

出版地:新北市

格式:EPUB 版式

ISBN:978-986-434-521-2;

附註:含附錄


馬上看!不用等預約。
借閱說明

網路爬蟲是AI範疇中,
取得資料與儲存的一項重要技能,
而Python是爬蟲過程中相當好用的工具
 
全書以簡單的Python程式為主軸,讓您可以輕鬆學會如何利用Python的模組擷取公開的網站資料、網頁內容,並建立自己的自動化爬蟲程式,增進您在網路上搜刮資料的能力與效率,是已具有Python基礎的學習者最佳的爬蟲入門工具書。
 
在本書中我們將學會使用以下的Python開發環境、模組及框架:
Thonny    Jupyter Notebook   requests
json     csv          re
xlrd     BeautifulSoup     Selenium
sqlite3    mysql        pymongo
pyinstaller  Scrapy        pyautogui
 
並學習如何擷取以下的幾種網站:
☑大學網站的焦點新聞頁面 ☑政府公開資訊網站
☑即時新聞網站標題、內容、圖片 ☑汽車網站之車款資訊及二手車在庫資訊
☑銀行網站之匯率資料擷取 ☑中央氣象局之氣溫觀測資訊
☑Ptt八卦版年齡宣告按鈕及Ptt討論區貼文擷取 ☑網路書店暢銷書排行榜
☑股市網站財經新聞 ☑線上購物網站產品資訊
☑名言佳句範例網站 ☑台灣證券交易所股票資訊
☑Dcard梗圖下載 ☑台灣運彩官網資訊
☑Mobile01討論區貼文
 
本書特色
 
✪了解網站、網頁、瀏覽器間的關係,認識爬蟲程式
✪了解網路上格式HTML/CSV/JSON/XLSX
✪使用requests模組取得網路上的資料
✪擷取及解析JSON及CSV格式資料檔案
✪利用Regular Expression及BeautifulSoup模組剖析網頁資料
✪活用Chrome開發人員工具找出網頁中特定資料的CSS選擇器內容
✪使用Selenium自動化工具擷取動態網頁
✪把擷取的資料儲存到MySQL及MongoDB資料庫
✪利用排程器做到自動化資料擷取及通知的功能
✪透過Scrapy框架建立爬蟲程式,大量搜刮資料

作者介紹
 
何敏煌
 
國立交通大學資訊科學博士,現任職於國立高雄科技大學博雅教育中心,平時除了研究KVM虛擬雲端容錯與分散式系統相關技術之外,也利用閒暇之餘致力於推廣資訊科技、Maker自學課程、與程式設計教育。個人網站:drho.club。

  • 第1堂 認識網站與網路爬蟲原理(p.x9789864345212-9)
  • 第2堂 快速了解網路資料格式(p.x9789864345212-25)
  • 第3堂 擷取網頁資料基礎(p.x9789864345212-45)
  • 第4堂 HTML網頁剖析基礎(p.x9789864345212-65)
  • 第5堂 HTML網頁剖析實務(p.x9789864345212-97)
  • 第6堂 CSS選擇器基礎與活用(p.x9789864345212-121)
  • 第7堂 MySQL資料庫儲存(p.x9789864345212-149)
  • 第8堂 MongoDB資料庫操作(p.x9789864345212-183)
  • 第9堂 自動化資料擷取(p.x9789864345212-211)
  • 第10堂 Scrapy初階(p.x9789864345212-233)
  • 第11堂 Scrapy 爬蟲實務(p.x9789864345212-267)
  • 第12堂 爬蟲實戰技巧及實例(p.x9789864345212-289)
  • 附錄 反爬蟲與反反爬蟲的戰爭(p.x9789864345212-331)