如何區(qū)分百度蜘蛛和匿名蜘蛛

作者/整理：qingxian 來源：互聯(lián)網(wǎng) 2016-04-06

百度蜘蛛會(huì)派出許多個(gè)小程序?qū)ヂ?lián)網(wǎng)上的網(wǎng)頁進(jìn)行訪問，這些小程序被站長親切的稱為百度蜘蛛，一般的百度蜘蛛訪問網(wǎng)站都會(huì)在網(wǎng)站留下痕跡，在網(wǎng)站的日志中可以查詢的到，例如下圖中的百度baiduspider,就是典型的百度蜘蛛。

當(dāng)然百度的蜘蛛有很多種，常見的有：

無線搜索 Baiduspider

圖片搜索 Baiduspider-image

視頻搜索 Baiduspider-video

新聞搜索 Baiduspider-news

百度搜藏 Baiduspider-favo

百度聯(lián)盟 Baiduspider-cpro

商務(wù)搜索 Baiduspider-ads

網(wǎng)頁以及其他搜索 Baiduspider

除了以上的幾種外，百度還會(huì)派出匿名蜘蛛模仿成用戶的形態(tài)訪問網(wǎng)站。這樣做的目的是為了防止網(wǎng)站優(yōu)化過程中作弊，百度通過對(duì)比匿名蜘蛛與正常蜘蛛訪問的頁面情況，如果差異很大，那就表明網(wǎng)站存在欺騙搜索引擎的行為。那么對(duì)于這些蜘蛛我們?cè)撊绾巫R(shí)別：

方案一：

據(jù)統(tǒng)計(jì)，百度的蜘蛛的IP是有規(guī)律的，電信ip段（220.181.108.*）、網(wǎng)通ip段（123.125.71.*），通過ip可以初步的判斷下。

方案二：

利用程序識(shí)別百度的匿名蜘蛛，操作方法

1、win+r,調(diào)出cmd;