有的朋友会遇到这种问题，网站某个页面能打开，但是蜘蛛返回码是404，还有的朋友看到蜘蛛返回码是404，直接robots屏蔽了，导致网站用大量的时间优化不上去，没有料想到这些都是假蜘蛛造成的。 那么假蜘蛛是怎么产生的呢？做seo我们都使用站长工具，站长工具会模拟百度蜘蛛对我们网站进行抓取，还有一种情况是有人恶意利用爬取我们的网站。
假蜘蛛对网站的危害
1，假蜘蛛抓取网站内容，导致占用我们的带宽，增加网站额外的开销。
2，如果在有限带宽的前提下，会阻碍真蜘蛛的正常抓取。
3，假蜘蛛返回来的信息，会误导我们我们对网站的优化思路。
4，部分的假蜘蛛是来采集我们网站的内容。
我们优化网站的过程中，出现假蜘蛛是很正常的事情，我们要养成一个查看空间日志的好习惯。出现蜘蛛不正常的返回码，我们要辨别真假之后，再去调整网站。蜘蛛的来访是很有规律的，如果我们和以往一样优化网站，蜘蛛的来访暴增，这时候我们要查看真假蜘蛛了。如果在有限的带宽下，假蜘蛛太多会影响真蜘蛛的正常抓取，这时候我们就必须屏蔽该ip了。