百度蜘蛛怎样抓取和识别网站

　　1、蜘蛛能不能找到所有网页

　　2、蜘蛛是否知道哪个网页是重要的

　　3、蜘蛛能否顺利提取网页内容

　　4、蜘蛛能否在网页中提炼有用信息

　　一、友好的网站结构

　　1扁平or树型

　　一说到网站结构，大家都会提到扁平结构和树型结构，，这些指的是物理结构，即基于内容聚合的目录及文件位置决定的结构。其实对于百度搜索引擎来说，只要结构合理、有逻辑性、内容有规律可循都可以，都是友好的。

　　2链接结构

　　相对于物理结构，就要说到逻辑结构：即通过内部链接形成的链接结构，逻辑结构才是搜索引擎最关注的。对于一个网站来说，网页仅仅可以通过首页——目录1——目录2，一层一层链接是远远不够的，一个优秀的链接结构应该是网状的。

　　1)首页链接应该链向重要的频道页，频道页再链向下面的节点页或普通页面。同时，频道页、节点页和普通页面都应该可以链回到首页。

　　2)无论哪些页面之间互相链接，都需要一个描述恰当的锚文本。

　　3)链接不要放在JS、FLASH等搜索引擎不可见的位置，百度搜索引擎目前仅支持对部分JS和FLASH进行解析，绝大多数放在JS和FLASH里的链接都是获取不到的。另外，使用图片做链接入口应该完善alt标签。

　　4)为重要页面留更多入口。百度搜索引擎认为，获得更多内部投票的网页相对来说更加重要。

　　5) “离首页越近”的网页，越容易受到百度重视。这个“近”指的是页面离首页的点击距离。即使URL所在目录层级较深，只要在首页有入口，百度也认为这是一个非常重要的页面。

　　6)不要产生可怕的孤岛页面。虽然百度在提交入口、社会化挖掘方面做了许多工作，但链接抓取依然是百度获得新页面的最重要渠道。

　　二、通过导航让百度更好地认识站点

　　1导航内容搜索引擎可见

　　对于用户，导航要解决的问题是：我在网站的什么位置，我想看上一级、甚至上上一级更多内容的入口在哪里。对于spider，导航要解决的问题是：这个页面属于哪个领域，要表达的主题是什么。所以说，清晰的导航系统不仅有助于提高用户体验，对SEO的意义也是重大的，所有SEO做得出色的网站基本都拥有清晰明确的导航。

　　有网站的导航对用户来说美观友好，对百度来说却是不可见的。目前百度还不能搞定所有的JS和FLASH，保险起见，还是使用HTML的好。图片虽然美丽，作为导航也是对搜索引擎不友好的行为。

　　2导航稳定

　　导航内容应该是相对固定的，不要让导航成为“滚动条”。

　　3重要网页尽可能地在导航到

　　百度认为主导航中出现的链接，其重要性仅次于网站首页，所以应该尽量将站内重要页面在主导航中按排个位置。当然，主导航上也不可能放过多的内容，哪些链接可以上主导航还需要SEO人员进行平衡。

　　4巧用面包屑导航

　　上面说到，导航对于用户来说，解决了“想看上一级、甚至上上一级更多内容”的问题，这个导航指的就是面包屑导航。面包屑导航可以使结构复杂庞大的大中型网站变得清晰轻盈，在spider进行页面解析时会着重查看面包屑导航内容，强烈建议使用。

　　三、合理的domain结构

　　除了在网站建设的时候站长会思考到底使用二级域名还是子目录，在网站运营的过程中，也会考虑是否要把子目录的内容拆分成二级域名。因为很多SEO人员认为二级域名相对独立，其首页会得到百度的重视，能获得更好的排位——其实这是一个片面的错误观点，百度会通过很多指标对同domain下的二级域名和子目录进行重要程度判断，并没有武断地认为谁天生就会比谁强一些。

　　当SEO认为站内结构已经阻碍了网站高速发展就会考虑改版，最常见的改版便是将子目录移出主站点、单独形成二级域名。但大家都知道，改版肯定会对站点的收录排名和流量造成影响，一定要谨慎。那么在什么情况下才真的需要将子目录换成二级域名呢?其实只有一点：即子目录的内容足够丰富，且与主域的主题关联性不强!

　　1、url结构规律化：同一个网页有不同url，会造成多个url同时被用户推荐导致权值分散，同时百度最终选择展现的那个url不一定符合你的预期。站点应该尽量不把sessionid和统计代码等不必要的内容放在url，如果一定要这样做可以通过robots禁止百度抓取这些非规范URL。

　　2、最好能让用户从url即可判断出网页内容，便于蜘蛛解析的同时也便于用户间传播。

　　3、url尽量短

　　●蜘蛛喜欢：http://www.baidu.com/#wd=分类目录

　　●蜘蛛不喜欢：http://www.baidu.com/#wd=%E5%88%86%E7%B1%BB%E7%9B%AE%E5%BD%95&rsv_spt=1&issp=1&f=3&rsv_bp=0&rsv_idx=2&ie=utf-8&tn=baiduhome_pg&rsv_enter=0&rsv_sug3=4&rsv_sug4=410&rsv_sug1=3&rsv_pq=c415a6400001991b&rsv_t=65fajhPEG1OpewqYRVvBJHhrzVJEtuJiltewBNt2NrulgZ%2BsmRUJj0xH81WSJs7rm5vO&rsp=3&inputT=5530&rsv_sug=2

　　4、不要添加蜘蛛难以解析的字符，如

　　http://mp3.XXX.com/albumlist/234254;;;;;;;�&CE�WF%.html