Robots 文件设置和技术细节
seo
2025-01-17 11:36:01
49
摘要：Robots.txt文件放在网站的根目录下，主要用于通知蜘蛛在该网站上的抓取范围，SEO可以在这个文件中声明该网站中不想被搜索引擎收录的部分，或者指定搜索引擎只收录特定的部分。"
Robots.txt文件放在网站的根目录下，主要用于通知蜘蛛在该网站上的抓取范围，SEO可以在这个文件中声明该网站中不想被搜索引擎收录的部分，或者指定搜索引擎只收录特定的部分。 1.经常使用到Robots.txt文件的情况 ● 网站升级，老版本网站的很多页面在新版本网站中去掉了，在这种情况下，可以通过Robots文件告诉蜘蛛不再抓取这些已经被去掉的页面。 ● 网站存在很多重复的内容，比如一个网站同时存在动态页面和已经经过静态化处理的页面，这些页面在内容上都是完全重复的内容，为了解决重复的问题，可以在Robots文件中禁止蜘蛛抓取动态页面。 ● 网站内部有些内容不便于公开发布，但是需要允许内部查阅。遇到这种情况，可以在Robots中告诉蜘蛛不要抓取。 2.Robots文件的基本写法 User-agent: * Allow: /cgi-bin/see Allow: /tmp/hi Allow: /~joe/look Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/ Allow是允许蜘蛛爬行的页面，而Disallow后面则是不允许蜘蛛访问的路径和文件。 3.Robots的使用示例 (1)仅允许访问某目录下某个后级的文件。这里仅允许访问带“'s"符号的网址，如下。 User-agent:* Allow:.asp$ Disallow:/ (2)禁止索引网站中所有的动态页面。 这里是限制访问带“?”的网址，例如，index.asp?id=1。 User-agent:* Disallow:/*?* (3)使用“*”限制访问带某个后缀的域名。 这里是禁止访问admin目录下所有htm文件，如下。User-agent:*Disallow:/admin/* .htm网站式新闻动态
版权声明：除特别声明外，本站所有文章皆是本站原创，转载请以超链接形式注明出处！
