怎么让别人搜索到我们的网站,像如何在百度里面搜索到我们的网站,如何在GOOGLE里面搜索到我们的网站?
当别的搜索我们公司的名子的时候既然找不到我们的网站,的有甚至找不到我们公司的名子,或者找到公司名子都是别的网站上的而不是自己的网站。这些问题我常常听企业的网站管理者抱怨。
关于如何降低网络爬虫速度的问题
YAHOO 的解决办法
http://misc.yahoo.com.cn/help.html#q10
robots.txt
User-agent: Slurp
Crawl-delay: 20
解释
由于增加了访问过滤,那么就需要告诉网络爬虫爬行的速度不要太快,还好这个问题比较好解决,在robots.txt中增加:
Robot-version: 2.0
Crawl-delay: 10
Request-rate: 60/1m
Visit-time: 0000-0800
由于这个还没有完全的标准,两种都用了,Crawl-delay是每秒访问的网页数,而Request-rate是页...