在http://www.webdesignerdepot.com/上找到一篇关于数据的文章,有几张图觉得挺有意思,特贴出来分享:

这张图很形象的说明了搜索引擎的Spider在抓取网页时,一些不友好的元素会对其形成较坏的影响(说明:本人离开英文环境已半年,如有解释错误,勿怪):
- Orphan Pages;Spider是根据链接抓取网页,没有链接的网页,自然使spider抓取困难。
- Unfriendly SEO-CMS System;CMS对SEO不友好的话,会对spider形成一定的干扰,比如js、ajax、链接分布、frame结构等等。
- Bad server Configuration;如阻止搜索引擎spider访问、302重定向、访问权限等等,以及服务器的稳定性,都有可能对spider造成致命的打击。
- Cloaking;比如隐藏文字、没有任何内外链的网页,都会使spider出现问题。
- Session Based Coding;URL根据访问者的cookie随机变换、html代码中大量的字符,这些session闯下的祸,对于一个不依赖SEO的网站来说可能没什么,但是对于一个基于SEO的网页来说可是致命的。
- 没有处理错误页面;如404跳转等

42 Comments, Comment or Ping
上海SEO
学习了
六 25th, 2009
怡泰
顶一个
六 28th, 2009
浙江SEO
Orphan Pages;Spider是根据链接抓取网页,没有链接的网页,自然使spider抓取困难,那就多加几个链接哦!
七 3rd, 2009
lowkey
嗯,看来我得注意适当的外链了。
七 4th, 2009
深圳网站优化
顶一个
七 13th, 2009
柴油发电机
来看看
七 13th, 2009
coal煤炭
不错 好好研究
七 15th, 2009
莆田SEO
我的服务器有点不稳定,空间永远是一个难题啊。
七 20th, 2009
bansi
1拜读了,感谢分享。自己从图里看出来的东西不多,博主好象有意思的话还藏心里没说出来呢。 … ^_^
001over
七 23rd, 2009
星箭
呵呵,楼上的怎么看出来的
七 29th, 2009
深圳网站建设
谢谢老师分享
十二 24th, 2009
上海网站优化
有趣 学习啦
一 10th, 2010
高端网站建设
写的不错!这些天一直比较忙,没顾上来看你的文章……
一 20th, 2010
SF
不错呵
二 14th, 2010
seo优化
gogoseo.cn认为这个蜘蛛图不错,学习了。
二 21st, 2010
左旋肉碱
还不错。。。呵呵
二 23rd, 2010
主持人网
不错,支持一下~
二 26th, 2010
请输入关键字
学习Spider的抓取方式,对于我们进行优化非常重要。
三 3rd, 2010
伪原创工具
本文阅读后的想法~~~
Orphan Pages 增加外链被蜘蛛收录。
Unfriendly SEO-CMS System 尽量使用静态的页面避免框架和flash,js,不想被抓取的内容除外。
Bad server Configuration 实际应用中一般有过快的跳转,或者Refresh的值过小,服务器不稳定遭到攻击,或者防火墙参数屏蔽蜘蛛等原因。
Cloaking 内联不贯通,一般可以通过网站地图进行弥补。
Session Based Coding 依据cookies产生的动态路径都可能让收录成为难题。
三 4th, 2010
百毒博客
这图真的很奇怪啊。难得每个蜘蛛都是这样的?
三 15th, 2010
e cigarette
不错 x学习了
三 17th, 2010
网站排名
顶一个!
三 22nd, 2010
治疗近视
晕晕,真不知道这是什么意思,有点不懂
四 1st, 2010
北京SEO
通过网站地图弥补一些
四 5th, 2010
免费
希望网站地图能够被中文搜索引擎接受
四 17th, 2010
北京保险柜
不太懂是什么意思。
四 19th, 2010
AdWords
呵呵,弄不明白
五 12th, 2010
厦门seo
挺有意思的
五 16th, 2010
缩阴产品
学习了!
五 16th, 2010
沧州房产网
看了以后确实受益匪浅
五 30th, 2010
双s减肥药
如果有的链接中间没有任何的文字,或者内容,就只有链接标签,那这样的链接是不是可以可以解释为黑链?
六 1st, 2010
kullan
相当形象 拜读了
六 6th, 2010
不育不孕
多学习有好处
六 9th, 2010
水晶手链
稍微有点乱了,呵呵
六 12th, 2010
请输入关键词
谢谢提醒~~
七 1st, 2010
易赛
很受用,感谢分享!
七 9th, 2010
Lambert
学习了。。。确实需要注意这些
七 12th, 2010
www.126.com
长见识了,谢谢分享!
七 21st, 2010
g2000
学习了
八 5th, 2010
3G手机
学习了不错
八 28th, 2010
外贸网站优化
最近网站依旧每天更新,坚持写一些原创内容,但网站排名还是有所下降,不知道什么原因?
八 30th, 2010
宁德SEO
学习了!加油!
九 7th, 2010
Reply to “Spider陷阱”