可以添加，但作用不会很大！比如百度搜索，在资源平台里面有专门的通道提交网站地图文件，不需要再提交。

既然是独立的移动站点，那肯定就需要设置独立的robots文件了，并且这个robots也需要放在根目录下。要注意各个独立站点之间是不能共享robots文件的，所以必须得单独设置。

严格来说robots限制蜘蛛抓取，搜索引擎也是会遵循这个规则的，现在百度搜索引擎对于robots的态度是，依然会抓取，但是不会保留百度快照。其他搜索引擎基本也是同样的。

robots其实就是指Robots协议，Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

不管是什么类型的网站，都尽量去添加robots文件，通过robots文件可以引导蜘蛛抓取，从而对网站优化有帮助。

这个问题很简单。因为网站后台对于普通用户来说没有意义，为了解决蜘蛛抓取次数，所以应该禁止搜索引擎对网站后台的抓取。

关于robots.txt和蜘蛛爬取的问题，笔者在本文简要的给大家做了说明。总之来说，修改网站的robots.txt会影响蜘蛛爬取，至于是减少抓取量还是增加抓取量，这需要具体分析对robots.txt做了怎样的修改。另外robots.txt里面还可以设置网站地图，这对于网站页面收录有帮助。

其实这个问题直接让技术去处理就行了，如果实在没有技术，那就去看下网站程序的安装目录是哪个，通常来说网站程序源文件的哪个文件夹，就是放置robots.txt文件的地方。

本文重点介绍了网站robots操作失误应该怎么处理。给出了百度搜索方面的专业回答，同时沐风SEO也简单提醒了几个方面。robots对于网站的影响很大，在网站正式上线之前，请大家务必要去检查robots是否有设置上的错误，一经发现及时改正。如果因为疏忽导致robots错误，也不要惊慌，及时去解决即可！

官方解释：在百度搜索资源平台使用robots工具进行更新，并及时关注文件生效时间，若3天后还未生效，建议提供具体问题截图和具体的URL在反馈中心反馈，以便排查问题。另外开发者自查robots.txt文件是否书写错误，robots文件往往放置在根目录下，包含一条或更多的记录，这些记录通过空行分开。

网站robots.txt这个文件里面是否放网站地图是没有影响的，通常我们在网站正式上线以后，都会去提交sitemap文件页面，这样搜索引擎就能知道网站地图的存在，后面也会不断的来抓取。所以没有必要在robots文件里添加，当然添加了也是可以的。

我们做网站优化，最重要的还是去理解搜索引擎，去理解用户需要。至于这些辅助工具，能用则用，如果出现某些问题，只要网站本身没事，也不用担心。就好比这次百度搜索检测robots文件不成功，它不会给网站带来实际的负面影响，大家不用担心。