close

大概是從去年開始陸陸續續接觸Python,主要是因為想說分析資料可能會用的到

再者是網路爬蟲好像是一件很有趣的事情,於是就開始慢慢的摸

但是實際真的做出來,已經是這個月的事情了XDDD

於是先將整個過程記錄下來,避免自己以後回頭再來看又忘記了

1.到 https://www.python.org/downloads/

下載python 2.7,我這邊選擇安裝的是2.7版

主要是考慮到2.7版的資源比較多,而且就初學者可能裝2.7會比較保險

01

2.先將環境變數加進去

先找到控制台 >> 系統集安全性 >> 系統 >> 進階系統保護

選擇環境變數,然後在下面的系統變數找到一個 Path的變數,並按下編輯

將 ;C:\Python27;C:\Python27\Scripts 這些字加在最後面

05

3.至https://www.continuum.io/downloads#_windows下載另一個程式 Anaconda

這個程式是之後會用到的其中一個,但是因為檔案比較大所以先放著下載

因為一開始我選擇的是Python 2.7,所以這邊也是選擇左邊的Python 2.7

02

4.Python會用到pip這個安裝指令,但是一開始是沒有安裝的,所以要先裝

打開命令提示字元的視窗,然後輸入 easy_install pip

跑完就會安裝完成了

06

5.接下來就是安裝Python的套件,分別依序輸入以下即可

 因為已經安裝pip 這個套件,所以打開命令提示字元後,可以直接使用pip 安裝

分別輸入

pip install requests

pip install BeautifulSoup4

pip install "ipython[notebook]"

09

都依序安裝好了之後,其實畫面就會像下面這樣回到命令提示字元

08

6.回到剛剛下載的Anaconda,裝好之後就可以在附屬應用程式看到

11

7.打開 Anaconda Prompt,會出現一個類似命令提示字元的視窗

12

8.這邊還要再安裝一個套件,在Anaconda Prompt 的視窗內輸入

pip install scrapy

需要透過 Anaconda 來安裝scrapy 是因為這樣比較節省錯誤時間

14

9.裝好之後我們就可以起一個專案

輸入 scrapy startproject apple 就可以起一個名為apple 的專案

然後我們就可以在使用者的資料夾看到一個名為apple的專案

點進去看其實是還有分層的資料夾

15

16

10.我們在 \apple\spiders 這個下面新增一個名為 crawler.py

這個就是Python的檔案了

17

18

19

11.因為是用蘋果即時當做範本,如果想要抓取即時新聞的標題,我們要先找到在哪個標簽下

使用Chrome 打開 http://www.appledaily.com.tw/realtimenews/section/new/

然後在網頁處按右鍵 >> 選擇檢查

會發現標題藏在 rtddt 下面的 h1 標簽下

23

12.開啟剛剛的 crawler.py

在剛剛新增的檔案上按右鍵,選擇 Edit with IDLE

然後輸入以下的程式碼

20

13.回到命令提示字元,輸入 cd apple

就會進入到apple 這個新專案的資料夾

這邊只要輸入 scrapy crawl apple

就會開始跑剛剛寫好的程式檔

21

14.接著畫面上就會看到我們剛剛設定的標題被我們節取下來了

22

 

第一次用Python就是如此簡單

 

arrow
arrow

    偷偷 發表在 痞客邦 留言(0) 人氣()