九乡新闻网西索团长黑暗大陆:SEO之搜索引擎爬虫
来源：百度文库 编辑：九乡新闻网 时间：2024/04/28 03:05:59
SEO之搜索引擎爬虫时间:2009-08-31 来源:优友网 作者:佚名 影响:43人 网络营销论坛 我要投稿
一、什么是搜索引擎爬虫程序网络爬虫(又被称为网页蜘蛛，网络机器人，更经常的称为网页追逐者)，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。这些处理被称为网络抓取或者蜘蛛爬行。很多站点，尤其是搜索引擎，都使用爬虫提供最新的数据，它主要用于提供它访问过页面的一个副本，然后，搜索引 擎就可以对得到的页面进行索引，以提供快速的访问。蜘蛛也可以在web上用来自动执行一些任务，例如检查链接，确认html代码; 也可以用来抓取网页上某 种特定类型信息，例如抓取电子邮件地址(通常用于垃圾邮件)。一个网络蜘蛛就是一种机器人，或者软件代理。大体上，它从一组要访问的URL链接开始，可以称这些URL为种子。爬虫访问这些链接，它辨认出这些页面的所有超链接，然后添加到这个URL列表，可以称作检索前沿。这些URL按照一定的策略反复访问。二、爬虫程序的种类以及分辨搜索引擎派出他们的爬虫程序去访问、索引网站内容，但是由于搜索引擎派爬虫程序来访会在一定程度上影响网站性能。在你的服务器日志文件中，可见每次 访问的路径和相应的 IP 地址，如果是爬虫程序来访， 则user-agent 会显示 Googlebot 或MSNBot 等搜索引擎爬虫程序名称，每个搜索引擎都有自己的user-agent。三、国内主要的爬虫程序百度 baidu.com--Baiduspiderhttp://www.baidu.com/search/spider.htm谷歌 google.com--Googlebothttp://www.google.com/bot.html雅虎 yahoo.com--Yahoohttp://misc.yahoo.com.cn/help.html有道 yodao.com--YodaoBothttp://www.yodao.com/help/webmaster/spider/搜搜 soso.com--Sosospider/Sosoimagespiderhttp://help.soso.com/webspider.htmhttp://help.soso.com/soso-image-spider.htm搜狗 sogou.com--sogouhttp://www.sogou.com/docs/help/webmasters.htm微软 msn.com--msnbothttp://search.msn.com/msnbot.htm
优友网网络营销精读.原文链接：http://www.uusem.com/seo/js/200908/314355.html
一、什么是搜索引擎爬虫程序网络爬虫(又被称为网页蜘蛛，网络机器人，更经常的称为网页追逐者)，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。这些处理被称为网络抓取或者蜘蛛爬行。很多站点，尤其是搜索引擎，都使用爬虫提供最新的数据，它主要用于提供它访问过页面的一个副本，然后，搜索引 擎就可以对得到的页面进行索引，以提供快速的访问。蜘蛛也可以在web上用来自动执行一些任务，例如检查链接，确认html代码; 也可以用来抓取网页上某 种特定类型信息，例如抓取电子邮件地址(通常用于垃圾邮件)。一个网络蜘蛛就是一种机器人，或者软件代理。大体上，它从一组要访问的URL链接开始，可以称这些URL为种子。爬虫访问这些链接，它辨认出这些页面的所有超链接，然后添加到这个URL列表，可以称作检索前沿。这些URL按照一定的策略反复访问。二、爬虫程序的种类以及分辨搜索引擎派出他们的爬虫程序去访问、索引网站内容，但是由于搜索引擎派爬虫程序来访会在一定程度上影响网站性能。在你的服务器日志文件中，可见每次 访问的路径和相应的 IP 地址，如果是爬虫程序来访， 则user-agent 会显示 Googlebot 或MSNBot 等搜索引擎爬虫程序名称，每个搜索引擎都有自己的user-agent。三、国内主要的爬虫程序百度 baidu.com--Baiduspiderhttp://www.baidu.com/search/spider.htm谷歌 google.com--Googlebothttp://www.google.com/bot.html雅虎 yahoo.com--Yahoohttp://misc.yahoo.com.cn/help.html有道 yodao.com--YodaoBothttp://www.yodao.com/help/webmaster/spider/搜搜 soso.com--Sosospider/Sosoimagespiderhttp://help.soso.com/webspider.htmhttp://help.soso.com/soso-image-spider.htm搜狗 sogou.com--sogouhttp://www.sogou.com/docs/help/webmasters.htm微软 msn.com--msnbothttp://search.msn.com/msnbot.htm
优友网网络营销精读.原文链接：http://www.uusem.com/seo/js/200908/314355.html
SEO之搜索引擎爬虫
SEO搜索引擎优化概述
SEO/搜索引擎优化
SEO论坛,搜索引擎优化论坛
seo优化|搜索引擎优化SEO每天一贴
SEO,SEM-搜索引擎优化,搜索引擎营销,Search Engine Optimizat...
常用的几种在线SEO工具 - SEO - 搜索引擎优化（SEO）权威解决方案提供者！
毕业设计中怎样用python写一个搜索引擎的分布式爬虫---异样
我的SEO搜索引擎优化经验 ? 超群.com的博客
最新代码大全哦--搜索引擎优化(SEO)论坛
如何通过搜索引擎开发欧洲客户（非SEO相关）
真正的SEO其实是网站和搜索引擎的“天人合一”
汉SEO老陈针对搜索引擎做关键词优化
网络营销之搜索引擎优化 搜索引擎营销
谈微博营销之微博黑帽SEO
SEO专题之三:SEO与网站开发
切客（Checker）Check in核心价值探讨 | 网赚-SEO搜索引擎优化-站长工具...
浅滩：总结本人自己SEO搜索引擎优化经验 - 站长网 admin5.com
Web2.0如何提升搜索引擎友好度--蚂蚁社区SEO评测报告
搜索引擎
搜索引擎
SEO专题之三:网站pr值
seo专题之六：页面优化
网站SEO接单之四不接