欧美videos另类精品-欧美videos另类极品-欧美vide-欧美va在线视频-欧美va在线观看-欧美va在线播放免费观看

url = 'http://cn.bing.com/images/async?q={0}&first={1}&count=35&relp=35&lostate=r
&mmasync=1&dgState=x*175_y*848_h*199_c*1_i*106_r*0'
    


        

            1
        

        

            2
        

    

2）通過(guò)selenium來(lái)實(shí)現(xiàn)模擬鼠標(biāo)操作來(lái)進(jìn)行翻頁(yè)，這一點(diǎn)會(huì)在Google圖片爬取的時(shí)候進(jìn)行講解。 
2、每個(gè)網(wǎng)站應(yīng)用的圖片加載技術(shù)都不一樣，對(duì)于靜態(tài)加載的網(wǎng)站爬取圖片非常容易，因?yàn)槊繌垐D片的url都直接顯示在網(wǎng)頁(yè)源碼中，找到每張圖片對(duì)應(yīng)的url即可使用urlretrieve()進(jìn)行下載。然而對(duì)于動(dòng)態(tài)加載的網(wǎng)站就比較復(fù)雜，需要具體問(wèn)題具體分析，例如google圖片每次就會(huì)加載35張圖片（只能得到35張圖片的url），當(dāng)滾動(dòng)一次后網(wǎng)頁(yè)并不刷新但是會(huì)再次加載一批圖片，與前面加載完成的都一起顯示在網(wǎng)頁(yè)源碼中。對(duì)于動(dòng)態(tài)加載的網(wǎng)站我推薦使用selenium庫(kù)來(lái)爬取。

對(duì)于爬取圖片的流程基本如下（對(duì)于可以通過(guò)網(wǎng)址實(shí)現(xiàn)翻頁(yè)或者無(wú)需翻頁(yè)的網(wǎng)站）： 
1. 找到你需要爬取圖片的網(wǎng)站。（以必應(yīng)為例）

2. 使用google元素檢查（其他的沒(méi)用過(guò)不做介紹）來(lái)查看網(wǎng)頁(yè)源碼。

3. 使用左上角的元素檢查來(lái)找到對(duì)應(yīng)圖片的代碼。

4. 通過(guò)觀察找到翻頁(yè)的規(guī)律（有些網(wǎng)站的動(dòng)態(tài)加載是完全看不出來(lái)的，這種方法不推薦）

從圖中可以看到標(biāo)簽div，class=’dgControl hover’中的data-nexturl的內(nèi)容隨著我們滾動(dòng)頁(yè)面翻頁(yè)first會(huì)一直改變，q=二進(jìn)制碼即我們關(guān)鍵字的二進(jìn)制表示形式。加上前綴之后由此我們才得到了我們要用的url。 
5. 我們將網(wǎng)頁(yè)的源碼放進(jìn)BeautifulSoup中，代碼如下：

url = 'http://cn.bing.com/images/async?q={0}&first={1}&count=35&relp=35&lostate=r&mmasync=1&dgState=x*175_y*848_h*199_c*1_i*106_r*0' agent = {'User-Agent': "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.165063 Safari/537.36 AppEngine-Google."}
page1 = urllib.request.Request(url.format(InputData, i*35+1), headers=agent)
page = urllib.request.urlopen(page1)
soup = BeautifulSoup(page.read(), 'html.parser')
    


        

            1
        

        

            2
        

        

            3
        

        

            4
        

        

            5
        

    

我們得到的soup是一個(gè)class ‘bs4.BeautifulSoup’對(duì)象，可以直接對(duì)其進(jìn)行操作，具體內(nèi)容自行查找。 
首先選取我們需要的url所在的class，如下圖： 

波浪線是我們需要的url。 
我們由下面的代碼得到我們需要的url：

if not os.path.exists("./" + word):#創(chuàng)建文件夾 os.mkdir('./' + word) for StepOne in soup.select('.mimg'):
    link=StepOne.attrs['src']#將得到的<class 'bs4.element.Tag'>轉(zhuǎn)化為字典形式并取src對(duì)應(yīng)的value。 count = len(os.listdir('./' + word)) + 1 SaveImage(link,word,count)#調(diào)用函數(shù)保存得到的圖片。
    


        

            1
        

        

            2
        

        

            3
        

        

            4
        

        

            5
        

        

            6
        

        

            7
        

    

最后調(diào)用urlretrieve（）函數(shù)下載我們得到的圖片url，代碼如下：

 try:
        time.sleep(0.2)
        urllib.request.urlretrieve(link,'./'+InputData+'/'+str(count)+'.jpg') except urllib.error.HTTPError as urllib_err:
        print(urllib_err) except Exception as err:
        time.sleep(1)
        print(err)
        print("產(chǎn)生未知錯(cuò)誤，放棄保存") else:
        print("圖+1,已有" + str(count) + "張圖")
    


        

            1
        

        

            2
        

        

            3
        

        

            4
        

        

            5
        

        

            6
        

        

            7
        

        

            8
        

        

            9
        

        

            10
        

        

            11
        

    

這里需要強(qiáng)調(diào)是像前面的打開(kāi)網(wǎng)址和現(xiàn)在的下載圖片都需要使用try except進(jìn)行錯(cuò)誤測(cè)試，否則出錯(cuò)時(shí)程序很容易崩潰，大大浪費(fèi)了數(shù)據(jù)采集的時(shí)間。 
以上就是對(duì)單個(gè)頁(yè)面進(jìn)行數(shù)據(jù)采集的流程，緊接著改變url中｛1｝進(jìn)行翻頁(yè)操作繼續(xù)采集下一頁(yè)。 
數(shù)據(jù)采集結(jié)果如下： 

有問(wèn)題請(qǐng)留言。