当今两大虽受欢迎的两大搜索引擎是谷歌和百度。做优化都知道搜索引擎收录页面是靠蜘蛛爬行来收录的，所以了解搜索引擎的变化是必须的。搜索引擎蜘蛛是人们编写出来的机器，肯定存在着莫忠规律。 一般情况下，一个新上线的网站需要一段时间才能被收录。当搜索引擎收录网站是，一般是从首页开始的，接着顺着首页在进入内容，搜索引擎很贪心，他不是一次性将网站全部爬行完，而是分不同的时间段进行爬行，然后计算出蜘蛛在网站的活动时间及时间的长短。
新站的网页即使被爬行也不会被马上放出来，需要经过搜索引擎的反复计算，确认网站确实有必要收录，这是才会把网页放出来。
一定要牢记下面这段话，在搜索引擎爬行网站的时候，千万不能出现网站打不开或者出现死链的情况，如果出现这种情况搜索引擎会停止对网站的爬行，以后什么时候再来就不一定了，有很多人有一个不好的习惯，也有一个错误的思想，认为域名的年龄越长，乐手搜索引擎的欢迎。
的确是这样的但是有个前提，网站没有被过度优化，没有死链接等，有很多人网站刚刚做完首页，立刻上线，首页的链接大部分都是死的，搜索引擎进入以后，爬行网站内也是进不去，对网站印象大幅度降低，从而减少对网站的访问次数，如果下次再来光顾的时候，网站还是原样，这样往返几次，搜索引擎蜘蛛会非常生气，最终放弃爬行该网站，对于不懂抓取规则的优化公司要不断进去学习，不断学习，争取做到最好。分类目录