网站robots文件可以加sitemap.txt吗

发布时间：2022年07月02日 07:39:58 | 责任编辑 : 沐风 | 分类 : SEO问答 | 浏览: 2918次 | 评论 0 人

问题：网站robots文件可以加sitemap.txt吗？

回答：可以添加，但作用不会很大！比如百度搜索，在资源平台里面有专门的通道提交网站地图文件，不需要再提交。

这也是搜外问答上面有朋友提出的问题，之所以想要在robots里面加入sitemap.txt，主要目的还是想让蜘蛛去抓取网站地图。这种担心或者是其他想法，其实都是多余的，理论上说，不管我们是否提交了sitemap文件，搜索引擎都会去网站根目录下查找，看看是否存在网站地图，有则优先抓取。

如果我们制作并且提交了sitemap.txt，以及sitemap.xml等文件，但蜘蛛仍然没有抓取，那就可能出现问题了。当然这个问题可能是搜索引擎方面的，也可能是网站方面的，比如说服务器不稳定，或者域名被惩罚等等。

对于新站，最近这段时间，百度搜索的抓取还是很慢的，尤其是刚上线的站点，十天八天都不来抓取也是正常的。如果你刚好在做新站，遇到了没有蜘蛛抓取的问题，建议还是稳住心态，静静等待就行。

总之而言，robots文件里面可以加sitemap.txt，搜索引擎不会因此就惩罚网站。但是，这样加了sitemap.txt文件，也基本没有效果的，所以大家要正确理解这个问题。

本站内容大部分由沐风博客原创，少部分内容来源于网络，如有侵权请与我们联系，我们会及时删除！