蜘蛛是否正常爬取网站,可以通过网站日志来分析判断该网站是否有被蜘蛛爬取过,如果页面未被蜘蛛爬取页面,那么你可以适当的给该页面做一些外链来引导蜘蛛过来爬行,当然你也可以主动向百度提交url,要想快速让百度快速抓取页面的方法就是建议百度推送页面爬行了未收录 。
2、网站更新
一个长时间没有更新网站内容的网站,蜘蛛会认为你没有新内容而导致的结果是蜘蛛来抓取的频率比较少,从而使偶尔更新文章不收录。搜索引擎是互联网与用户的桥梁,它目的就是给用户提供有价值的内容,你能为它提供新鲜优质的内容,它就会来收录你网站的内容存入数据库,经过筛选再提供给用户。所以搜索引擎不是做慈善,你的网站能给它什么?能给用户带来什么?这才是搜索引擎存在的价值。
3、空间服务器不稳定
空间的稳定性往往也对网站的收录有着很大的影响,如果蜘蛛在爬取你的网站时正好你的空间处于崩溃的状态下那蜘蛛就不能在继续爬取你的网站,或者蜘蛛准备爬取你的网站时,而你的网站因为空间不稳定导致页面不能访问,这样会直接影响蜘蛛抓取,蜘蛛不能很好的去抓取页面或由于加载慢只抓取到网页一半,这就很大程度上影响了网站的收录。所以,为了保证我们的网站能够更好的被搜索引擎收录,建议我们使用一些稳定的空间。
4、内容的质量度
蜘蛛爬行频繁,就不收录,或者收录了隔几天查看又没收录。主要有两点:
(1)网站内容大量采集或者是提供无任何价值内容。想要让网站更新的内容马上被蜘蛛收录,我们首先要保证的是我们网站内容的质量,衡量一个网站内容的质量有很多因素,比如内容的原创度,内容的字数以及内容是否有价值都是用来衡量内容是否有质量的因素,高质量的内容自然会快速的被搜索引擎收录,但是在网站没有信任度的情况下即使收录的高质量内容也不会被给予排名。
(2)网站还处于新站,百度对其有个考核期,收录较慢。对于一个新站,是需要经过一个考核期,考核期之内我们只需更新更多优质的内容等待收录即可。
5、 Robots设置屏蔽
检查robots设置,看是否主动屏蔽蜘蛛Robots的设置也是非常重要的,这个会有很多SEOer都比较容易犯的一个错,不会写Robots,或者是上线后因为某些原因屏蔽了蜘蛛的抓取(在这友情提示各位,上线后,千万记得别屏蔽蜘蛛抓取,经者几天不来抓取,重者几个月)。
6、外链建设
外链在网站优化中不但可以起到一个传递权重的作用还会有引流以及吸引蜘蛛的作用,相对于权重高一些的网站来说,蜘蛛爬取的会频繁一些,而相对于权重低一些的网站来说蜘蛛爬取的频率就会低一些,这种情况下我们网站即使更新高质量的内容就不会马上被蜘蛛抓取并且收录,所以,我们就需要通过发外链的方式来吸引蜘蛛来到我们的网站抓取我们网站的内容并且收录,通常我们都是在站内更新内容之后通过高权重的论坛发一篇高质量的外链,蜘蛛通过外链就会来抓取我们网站刚刚更新的内容,还会给我们的网站带来额外的权重传递效果。