Python爬蟲練習日記 02 – 爬蟲換頁(Selenium)

02還真來了。

上次用了Requests和BeautifulSoup成功把文章列表頁的資訊爬下來了,欸但是只爬一頁是哪招,只爬一頁的爬蟲比我用手去複製還要沒效率啊,所以接下來就來研究如何爬下一頁。

前情提要:Python爬蟲練習日記 01 – 簡易PTT爬蟲(Requests + BeautifulSoup)

因為上次碰到換頁這問題,去公司騷擾同事後得到了Selenium這個關鍵字,稍微上網了解了一下,Selenium是一個本來是用來測試,然後莫名其妙大家都拿來寫爬蟲的好用工具,主要是可以操作瀏覽器,把一些操作行為給自動化,那不就是按鍵精靈嗎?

加上前陣子聊到了高鐵都搶不到票的問題,看到了Selenium之後,我有了個大膽的想法,不過這個以後有空再說。(其實沒有很大膽)