怎么让百度蜘蛛不抓取页面中的某个链接

发布时间：2023年03月17日 07:51:13 | 责任编辑 : 沐风 | 分类 : SEO问答 | 浏览: 1742次 | 评论 0 人

问题：怎么让百度蜘蛛不抓取页面中的某个链接？

回答：可以给具体的链接加上nofollow属性，这个属性会告诉百度蜘蛛不要去追踪这个页面，也就是禁止抓取了。

nofollow属性的作用就是禁止抓取，同时不会给这个页面传递权重。如果你想要百度蜘蛛不抓取页面上的某个链接，就可以通过这种方式去实现。

但是，百度搜索是否会严格遵循这个规则也得另说。

理论上，百度蜘蛛在抓取某个页面内容的时候，会提取出页面里面的链接，如果某个链接带了nofollow属性，那就会剔除这个链接。剩下的链接会返回到待抓取链接库，蜘蛛会根据具体规则对这些链接进行抓取。

这里还有两种情况需要考虑：1，百度蜘蛛是否会严格遵守nofollow协议，虽然链接加上了nofollow属性，但不保证蜘蛛一定不抓取；2，目标页面在其他地方是否还存在链接入口，比如页面A在页面B上禁止了百度蜘蛛抓取，但在页面C上有链接而没有做限制，这种情况下百度蜘蛛大概率还是会抓。

所以，我们不能百分百确保百度蜘蛛不抓取某个页面。事实上，对绝大部分站点来说，没有必须禁止蜘蛛抓取站内的某些页面，因为抓取频次通常都是够的。如果是站外页面链接，添加nofollow属性就可以了，更深层次的抓取情况不需要去深究。

除了在页面链接上添加nofollow属性，还可以在robots文件里面禁止百度蜘蛛抓取。但同样，如果目标页面在其他地方有链接入口，百度蜘蛛也大概率会抓取甚至收录。

本站内容大部分由沐风博客原创，少部分内容来源于网络，如有侵权请与我们联系，我们会及时删除！