百度蜘蛛會派出許多個小程序對互聯網上的網頁進行訪問,這些小程序被站長親切的稱為百度蜘蛛,一般的百度蜘蛛訪問網站都會在網站留下痕跡,在網站的日志中可以查詢的到,例如下圖中的百度baiduspider,就是典型的百度蜘蛛。
當然百度的蜘蛛有很多種,常見的有:
無線搜索 Baiduspider
圖片搜索 Baiduspider-image
視頻搜索 Baiduspider-video
新聞搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度聯盟 Baiduspider-cpro
商務搜索 Baiduspider-ads
網頁以及其他搜索 Baiduspider
除了以上的幾種外,百度還會派出匿名蜘蛛模仿成用戶的形態訪問網站。這樣做的目的是為了防止網站優化過程中作弊,百度通過對比匿名蜘蛛與正常蜘蛛訪問的頁面情況,如果差異很大,那就表明網站存在欺騙搜索引擎的行為。那么對于這些蜘蛛我們該如何識別:
方案一:
據統計,百度的蜘蛛的IP是有規律的,電信ip段(220.181.108.*)、網通ip段(123.125.71.*),通過ip可以初步的判斷下。
方案二:
利用程序識別百度的匿名蜘蛛,操作方法
1、win+r,調出cmd;
2、在命令框內輸入nslookup IP查詢,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充,