关于我们 RRS sitemaps 网站地图

首页 > SEO基础 > SEO入门 > 正文

SEM论坛

搜索引擎(蜘蛛)Robot

2012-09-05 01:30:28 |  评论:0  |  点击:  |  SEM论坛

搜索引擎蜘蛛名称

  蜘蛛:又名搜索引擎爬虫 是一种专门爬取各大网站内容的、如果网站没有蜘蛛的爬行、那么就没有网站的收录可言。

  那么我们又如何知道蜘蛛爬行过我们的站了,在这里我们可以看网站IIS日志,在IIS日志中,我们可以分析各大搜索引擎蜘蛛的爬取记录。

 

  引擎搜索名称:

  1. Google爬虫名称

   1) Googlebot:网站索引和新闻索引中抓取网页

   2) Googlebot-Mobile:移动索引抓取网页

   3) Googlebot-Image:图片索引抓取网页

   4) Mediapartners-Google:抓取AdSense,在AdSense 广告情况下,Google才会使用此漫游器来抓取您的网站。

   5) Adsbot-Google:抓取AdWords 目标网页的质量,在Google AdWords 为你的网站做广告的情况下,Google才会使用此漫游器。

 

  2. 百度(Baidu)爬虫:Baiduspider

   1) Baiduspider:无线搜索

   2) Baiduspider-image:图片搜索

   3) Baiduspider-video :视频搜索

   4) Baiduspider-news :新闻搜索

   5) Baiduspider-favo :百度搜藏

   6) Baiduspider-cpro :百度联盟

   7) Baiduspider-ads :商务搜索

   8) Baiduspider :网页以及其他搜索

 

  3. 雅虎(Yahoo)爬虫:Yahoo Slurp

  4. 有道(Yodao)蜘蛛:YodaoBot

  5. 搜狗(sogou)蜘蛛:sogou spider

  6. MSN蜘蛛名称:Msnbot

本周点击排行

SEM论坛