看了google技术指南觉得有必要看看Lynx

  • 使用诸如 Lynx 的文本浏览器来检查您的网站,因为大多数搜索引擎抓取工具查看您网站的方式与 Lynx 几乎一样。 如果诸如 Javascript、Cookie、会话 ID、框架、DHTML 或 Flash 等复杂功能造成您在文本浏览器中无法看到整个网站,则搜索引擎抓取工具在抓取您的网站时可能会遇到问题。
  • 允许搜索漫游器抓取您网站时不抓取会话 ID 和跟踪其访问网站路径的参数。 这些技术对跟踪单个用户的行为非常有用,但漫游器的访问模式却完全不同。 如果采用这些技术,可能会导致对网站的索引编制不完整,因为漫游器可能无法排除那些看上去不同,但实际却指向同一个网页的网址。

本日志由 胡子 于 2008-08-22 20:01:57 发表到 学习随笔 中,目前已经被浏览 555 次,评论 0 次;

作者添加了以下标签: Lynxseo搜索引擎抓取

首页只显示了部分日志内容,要查看日志的全部内容请阅读全文