首先介紹一(yī)下(xià)百度爬蟲抓取量，§σ★其實就(jiù)是(shì)百度爬蟲對(duì)站(zhàn)點一(yī)天抓取網頁的≈☆↑(de)數(shù)量，從(cóng)百度內(nèi)部透露來(‍₹¥↓lái)說(shuō)，一(yī)般會(huì)抓兩種網頁，其中一(yī)個(gè)是(shì)¶​這(zhè)個(gè)站(zhàn)點産生(s¶©hēng)新的(de)網頁，一(yī)般 中小(xiǎo)®≠♦‍型站(zhàn)當天就(jiù)可(kě)以完成，↑€λ大(dà)型網站(zhàn)可(kě)能(nπσéng)完成不(bù)了(le)，另一(yī)種是(shì)百度以前抓過的(de)網頁，它是(s ↑₹§hì)需要(yào)更新的(de)，比如(rú)一(yīφ±)個(gè)站(zhàn)點已經被百度收錄了(​≥le)5w，那(nà)麽百度會(huì)給出一(yī)個(gè)時(shí)間(ji'≠ān)段，比如(rú)30天，然後平均一(™↓©yī)下(xià)，每天到(dào)這(zhè)個(gè)站(zhà±<£n)點上(shàng)面抓5W/30的(de)這(zhè)樣一(yī)個(gè)數(shù)字，​±§但(dàn)是(shì)具體(tǐ)的(de)量，百度有(€☆yǒu)自(zì)己的(de)一(yī)套算(suàn)法公式來♠>β‍(lái)計(jì)算(suàn)。

影(yǐng)響百度抓取量的(de)因素。

1.站(zhàn)點安全

對(duì)于中小(xiǎo)型站(zhàn)點，在安全技(jì)術(shù)上(shàng)✘​α←比較薄弱，被黑(hēi)被篡改的(de)現(xiα‍àn)象非常常見(jiàn)，一(yī)般被黑(hēi)有(yǒu)常見(jiàn)幾種情♦♠™♠況，一(yī)種是(shì)主域被黑(hēi)¶↔，一(yī)種是(shì)标題被篡改，還(hái€₽¶↓)有(yǒu)一(yī)種是(shì)在頁面裡(lǐ)面加 了(le)很(hěn×₽)多(duō)的(de)外(wài)鏈。一(yī)般主域被黑(←↓hēi)就(jiù)是(shì)被劫持，就(jiù)是(shì)主域≠↕被進行(xíng)301的(de)跳(tiào)轉到(dào)指定的(de)網站(zhàn)，‍σ↑而如(rú)果在百度那(nà)邊發現(xiàn)跳(tiào)轉後的(de)是(shì)一(yī ±φ)些(xiē)垃圾站(zhàn)，那(nà)麽你(nǐ)這(zhè)個(gè)站(zhà←>n)點抓取量會(huì)裡(lǐ) 面降低(dī)。

2.內(nèi)容質量

如(rú)果抓取了(le)10萬條，而隻有(yǒu)100條建庫了(le)，那(nà)≤÷麽抓取量還(hái)會(huì)降下(xià★>)來(lái)，因為(wèi)百度會(huì)認為(wèi)抓取的(de)網頁比例很(hěn✘π)低(dī)，那(nà)麽就(jiù)沒必要(×♠×yào)去(qù)抓取更多(duō)，所以要(yào)“甯缺毋濫”≈₹，特别要(yào)注意在建站(zhàn)的(de)時(shí₩♠)候一(yī)定要(yào)注意質量，不(bù)要(yào)采集一(yī)些(xiē)內(nèiΩ‍)容，這(zhè)是(shì)一(yī)種潛在的(de)隐患¥™₹σ。

3.站(zhàn)點響應速度

①網頁的(de)大(dà)小(xiǎo✔ε )會(huì)影(yǐng)響抓取，百度建議(yì)網頁的(de)大(dà)小(xiǎo)在1M>↕©以內(nèi)，當然類似大(dà)的(de)門✘↓¶(mén)戶網站(zhàn)，如(rú)新浪另說(shuō)。

4.同ip上(shàng)面主域的(de)數(shù)量

百度抓取都(dōu)是(shì)按照(zhào)ip進行(xíng)去(qù)抓取的(dα®≤e)，比如(rú)在一(yī)個(gè)ip上>δ≥÷(shàng)一(yī)天抓取了(le)1000w個(gè)頁面，而在這γ≤♣​(zhè)個(gè)站(zhàn)點上(shàng)有(yǒu)4÷γ§₩0W的(de)站(zhàn)點，那(nà)麽平均下(xià)來(lái)抓取每個(gè)站(zh Ω™àn)點的(de)數(shù)量會(huì)分(fēn)的(de)↕↓↑ 很(hěn)少(shǎo)，所以在選擇服務商的(de)時(shí)候，要(yào€λ∞)看(kàn)一(yī)看(kàn)同ip上(shàng)面有(yǒ>β≠u)沒有(yǒu)大(dà)站(zhàn)，如(rú)果有(yǒ≠&£∏u)大(dà)站(zhàn)的(de)話(huà)，可(kě)能 $ (néng)會(huì)被分(fēn)得(de)的(de)抓取量會(huì)很(©δδ​hěn)少(shǎo)因為(wèi)流量都(dōu)跑∏¥Ωσ大(dà)站(zhàn)上(shàng)面去(qù)了(le)。