原则上,搜索引擎不存在降权蜘蛛等说法,所以在实际的SEO中不需要屏蔽所谓的垃圾搜索引擎蜘蛛!
关于图片为主的栏目要不要屏蔽蜘蛛抓取的问题,笔者从两个方面给大家做了简单的介绍。笔者再次提醒,图片为主的栏目要不要屏蔽蜘蛛抓取,需要根据具体的情况来分析;其次就是图片页面本身也是可以进行SEO优化的。
禁止搜索引擎抓取网站页面,最常用的就是使用robots文件,禁止百度蜘蛛爬行和抓取某个文件夹,可以用下面这段代码:
User-agent: Baiduspider
Disallow: wenjianjia/
总结来说,想要禁止百度收录某个页面是很简单的,通过robots就可以很方便的搞定,当然如果能够结合nofollow标签一起使用,会更加保险。
zblog的系统文件不需要被抓取,但正常情况下搜索引擎也不会去抓取,所以设置与否其实没有很大影响。不想麻烦的话,直接全部开放抓取即可;实在不放心的,也可以去做下限制。
更新包含SEO培训教程、网站运营及网络推广等互联网资讯