关于我们 RRS sitemaps 网站地图

首页 > SEO基础 > SEO入门 > 正文

SEM论坛

什么是搜索引擎蜘蛛?

2014-04-09 23:43:37 |  评论:0  |  点击:  |  SEM论坛

搜索引擎蜘蛛是一个自动抓取互联网上网页内容的程序,每个搜索引擎都有自己的蜘蛛。
 
搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。
 
国内各大搜索引擎蜘蛛名称:
 
百度:百度spider
 
谷歌:googlebot
 
搜狗:sogouspider
 
搜搜:Sosospider
 
360搜索:360Spider
 
有道:YodaoBot
 
雅虎:YahooSlurp
 
必应:msnbot
 
Msn:msnbot
 
以上是常见的搜索引擎蜘蛛(爬虫),如果你的网站不想让让某些蜘蛛抓取,那么可以通过robots.txt来限制爬虫的抓取。

关键字:搜索引擎蜘蛛

上一篇:什么是SEO

下一篇:什么是​搜索引擎?

本周点击排行

SEM论坛