当前位置：网站首页 >> 建站知识 >> 网站优化知识与技巧 >>


为您介绍一下什么是蜘蛛陷阱

来源：郑州凯讯网站    发布人：郑州凯讯公司    发布日期：2014-08-09

所谓蜘蛛陷阱，是阻止搜索引擎蜘蛛程序爬行网站的“陷阱”，也就是障碍，这些障碍将阻止蜘蛛爬行网页，从而阻止了网站上网页的收录。这些网页可能在界面上看起来非常正常，但这些蜘蛛陷阱会对蜘蛛程序造成障碍，如果消除这些蜘蛛陷阱，就可以使蜘蛛程序向下爬行，进而收录更多的网页。这里，笔者整理了六个方面的蜘蛛陷阱，在下面列了出来供参考。

1、网页内使用框架结构。框架结构是一种使用iframe技术实现的框架式结构，框架内的内容无法被搜索引擎抓取，所以，如果网页上使用了这种技术，那么蜘蛛在爬行的时候会隔离框架，这是一种非常常见的蜘蛛陷阱，不是我们推崇使用的一种技术。

2、网页上的各种跳转技术。对搜素引擎来说，大多数形式的跳转都是很不感冒的，比如JavaScrit跳转、MetaRefresh跳转、Flash跳转、302跳转等，这些跳转技术可实现网页打开时会自动转向其他页面，这种转向是对搜索引擎不太友好的行为，不推荐大家使用，如果你非要做转向，可使用用301实现永久跳转，除此之外转向其他都不推荐，因为大多数跳转容易被认为属于黑猫手段，所以搜索引擎非常反感，蜘蛛可能不会抓取网页内容，这也是一种蜘蛛陷阱。

3、网页上强制使用Cookies。有些站长为了让用户记住登陆信息，强迫用户使用Cookies。而如果Cookies未被开启，则网页将无法进行访问，访问页面显示的也不会正常，这种情况会让蜘蛛无法进行访问，也无法爬行和抓取内容，是常见的蜘蛛陷阱。

4、动态URL要求参数才正常显示。所谓动态URL，简单的说就是带有问号、等号及参数的网址就是动态URL，动态URL在显示的时候，往往需要参数，如果没有参数，动态URL的显示可能会不正常，这不利于搜索引擎蜘蛛的爬行和抓取，也是一种蜘蛛陷阱。

5、网站设置了注册和登录要求。有些企业站和个人站的制作设置时，必须要注册登陆后才能看到相关的文章内容，这种做法对蜘蛛很不友好，蜘蛛不会注册、也不会登录，在爬行到需要注册或登录的地方，将由于无法登陆而不能继续向下爬行，从而错过了下面的链接和内容，这时候必然会影响网站其他网页的收录，这是一种蜘蛛陷阱。

6、网页上使用Flash技术。有的网站页面使用Flash，在视觉效果上是很正常的，但是由于搜索引擎无法抓取Flash内容，所以网页上的Flash可以认为是一种蜘蛛陷阱，在蜘蛛抓取时，flash位置只是一个链接，并没有文字，不利于网站优化的效果实现，所以，我们不提倡这种Flash出现下网页上。

在SEO网站优化的工作中，网页被收录是最基本的工作，因此，我们在制作网页时不要使用这些带有“蜘蛛陷阱”的技术，让我们制作的网页能够被搜索引擎充分收录。