有些网站由于筹备工作原因,在一段时间内不希望搜索引擎收录网站,而过了这段时间之后又希望搜索引擎能够回来收录。
因此,他们在这段时间内使用robots文件屏蔽了搜索引擎蜘蛛。使用robots.txt屏蔽搜索引擎一段时间有没有影响?
使用robots.txt屏蔽搜索引擎一段时间后,即使去掉对搜索引擎的屏蔽,在短期内还是会对网站有一定的影响。如果网站终究需要搜索引擎收录,那么没有必要屏蔽蜘蛛。如果因为网站版面设计还未完善,可以在本地完全架设好网站后再上线。
一些用户因为感觉前期网站内容不多,所以屏蔽搜索引擎,等内容丰富起来再让搜索引擎收录。有这种想法的用户就完全错了,网站的发展是一个循序渐进的过程,如果让搜索引擎发现一下子有很多的内容,而每天的更新量又很少,反而会引起搜索引擎的质疑。
如果实在是因为某种原因需要这样种,那么在恢复robots.txt时也要加强外链建设工作,引导蜘蛛爬寻内页,减轻屏蔽带来的影响。