发布时间：2021年10月11日 08:23:47 | 责任编辑 : 沐风 | 分类 : SEO问答 | 浏览: 5133次 | 评论 0 人
问题：网站一定要添加robots文件吗？
回答：robots文件的作用是告诉搜索引擎，网站有哪些文件和页面是可以抓取的，哪些是不允许抓取的。通常搜索引擎都会遵守robots协议。所以，对于网站来说尽量添加robots文件，因为网站少不了有js及css文件，还有就是网站的后台链接等，这些都不需要被索引，我们可以通过设置robots文件来禁止搜索引擎抓取，从而节省了蜘蛛抓取的份额。
另外大家要注意，搜索引擎抓取网站的时候，首先会去看网站是否有robots文件。相关案例显示，如果网站设置了robots文件，并且允许抓取的话，网站收录比没有设置robots文件的要快。所以大家尽量都是添加下robots文件，这对网站来说百利而无一害，当然大家要注意robots的写法，不要设置错误导致某些页面不能被抓取到。
关于robots文件的问题，笔者就简要的说这么多。总之来说，不管是什么类型的网站，都尽量去添加robots文件，通过robots文件可以引导蜘蛛抓取，从而对网站优化有帮助。
本站内容大部分由沐风博客原创，少部分内容来源于网络，如有侵权请与我们联系，我们会及时删除！
更新包含SEO培训教程、网站运营及网络推广等互联网资讯