最新消息:

SEO优化技巧:网站robots.txt的应用场景及写法

SEO操作 extproer 956浏览

robots.txt是什么?

robots.txt是搜索引擎爬行网页要查看的第一个文件,你可以告诉搜索引擎哪些文件可以被查看,哪些禁止。当搜索机器人(也叫搜索蜘蛛)访问一个站点时,它首先会检查根目录是否存在robots.txt,如果有就确定抓取范围,没有就按链接顺序抓取。

robots 文件应用场景

(1)多个URL的状态

网站动态URL已经改为静态URL或伪静态URL,而先前的动态URL不希望被引擎蜘蛛抓取,可以使用robots文件屏蔽先前的动态链接。

(2)网站改版

网站改版意味着很多页面链接都会失效,为了避免网站出现大量死链,可将失效链接写在robots文件中,屏蔽搜索引擎对失效链接的抓取。

(3)网站内部资料

每个网站都有不便于公开的信息资料,只有内部人员可以查阅,可以在robots 文件中告诉引擎蜘蛛不要抓取这些页面。

(4)重复交叉页面过多

如果站内重复交义页面过多,可以将无意义的页面用301 重定向转化成统的URL,然后用robots文件屏蔽掉,减少网站垃圾页面的数量。

robots文件查看方法

robots文件应当放在根目录下,通过“域/robots.txt”查看即可

robots文件的写法

robots.txt文件的写法可参考之前的文章:robots.txt的写法 这里就不在展开讲解了。

robots文件文件应遵循的原则

(1)不要屏蔽首页的后缀,如index.php、index.html 等。

(2). robots文件要尽量简洁,降低“*” “?”等符号的出现频率。

(3)要选择性地屏蔽,不要屏蔽大量页面,首页不能被屏蔽掉。

(4)文件中一定要放入sitemap (网站地图),示例如:Sitemap:http://www.extproer.com/sitemap_baidu.xml。

(5)robors 文件中的规则可以分批设置,不一定要一次性统一设置,一般设置完成后一个月生效

转载请注明出处:福建SEO优化学习_福建运营_福建网络营销学习__开拓者: » SEO优化技巧:网站robots.txt的应用场景及写法