robots需要禁止后台目录吗

发布时间：2021年10月07日 08:29:57 | 责任编辑 : 沐风 | 分类 : SEO问答 | 浏览: 4188次 | 评论 0 人

问题：robots需要禁止后台目录吗？

问题补充：在设置robots的时候不太确定是否要禁止后台目录，是否需要禁止呢？

回答：要知道这个问题，首先得搞清楚robots的意思和作用，robots的作用主要是告诉搜索引擎哪些页面可以抓取收录，哪些页面不要抓取收录。

对于网站后台，显然是不需要搜索引擎抓取和收录的，所以可以在robots设置禁止对网站后台的抓取。通常来说，只要能打开的页面链接搜索引擎蜘蛛都会去抓取，而蜘蛛抓取对于单个网站来说是有配额的，如果抓取后台的次数多了，就浪费了对其他有用页面的抓取，从这个方面来说，后台的页面也是需要禁止抓取的。

关于robots是否需要禁止后台目录的问题，笔者就简要的说这么多。总之来说，这个问题很简单。因为网站后台对于普通用户来说没有意义，为了解决蜘蛛抓取次数，所以应该禁止搜索引擎对网站后台的抓取。

本站内容大部分由沐风博客原创，少部分内容来源于网络，如有侵权请与我们联系，我们会及时删除！