今天是:
您当前位置:网站首页 >> IT业界 >> 建立符合搜索抓取习惯的网站

建立符合搜索抓取习惯的网站

发布时间:2013-09-14 23:41:14 | 来源:网络 | 作者:佚名 | 点击:7398次 | 发表评论

    编者按:前两周简要地给大家介绍了搜索抓取系统工作原理,根据该工作原理今天简要介绍一下如何建立网站是符合搜索引擎抓取系统习惯的。

    1、简单明了的网站结构

Spider抓取相当于对web这个有向图进行遍历,那么一个简单明了结构层次分明的网站肯定是它所喜欢的,并尽量保证spider的可读性。

(1)树型结构最优的结构即“首页—频道—详情页”;

(2)扁平首页到详情页的层次尽量少,既对抓取友好又可以很好的传递权重。

(3)网状保证每个页面都至少有一个文本链接指向,可以使网站尽可能全面的被抓取收录,内链建设同样对排序能够产生积极作用。

(4)导航为每个页面加一个导航方便用户知晓所在路径。

(5)子域与目录的选择相信有大批的站长对此有疑问,在我们看来,当内容较少并且内容相关度较高时建议以目录形式来实现,有利于权重的继承与收敛;当内容量较多并且与主站相关度略差时建议再以子域的形式来实现。

2、简洁美观的url规则

(1)唯一性网站中同一内容页只与唯一一个url相对应,过多形式的url将分散该页面的权重,并且目标url在系统中有被滤重的风险;

(2)简洁性动态参数尽量少,保证url尽量短;

(3)美观性使得用户及机器能够通过url即可判断出页面内容的主旨;

我们推荐如下形式的urlurl尽量短且易读使得用户能够快速理解,例如使用拼音作为目录名称;同一内容在系统中只产生唯一的url与之对应,去掉无意义的参数;如果无法保证url的唯一性,尽量使不同形式的url301到目标url;防止用户输错的备用域名301至主域名。

3、其他注意事项

(1)不要忽略倒霉的robots文件,默认情况下部分系统robots是封禁搜索引擎抓取的,当网站建立后及时查看并书写合适的robots文件,网站日常维护过程中也要注意定期检查;

(2)建立网站sitemap文件、死链文件,并及时通过百度站长平台进行提交;

(3)部分电商网站存在地域跳转问题,有货无货建议统一做成一个页面,在页面中标识有无货即可,不要此地区无货即返回一个无效页面,由于spider出口的有限性将造成正常页面无法收录。

(4)合理利用站长平台提供的robotssitemap、索引量、抓取压力、死链提交、网站改版等工具。

相关文章
发表评论
网名(必填*): QQ: 邮箱: 主页:
评论:
验证: 看不清?点击换一个
共有0人对本文发表评论,点此查看所有评论(网友评论仅供表达个人看法,并不表明本站同意其观点或证实其描述)
 
站内搜索
栏目导航
推荐专题栏目
赞助商链接
最近更新
赞助商链接
点击排行
关于本站  |  网站声明  |  网站导航  |  RSS订阅  |  留言交流  |  个人博客  |  个人网站大全  |  音乐电台  |  祝福频道  |  新浪微博
  • Copyright © 2005—2017,J8彩票登录平台个人网站,Zou Zhi Qiang's Personal Website (http://www.huajialingzi.com),All Rights Reserved.
  • 版权声明:凡注明本站原创文章、作品,未经本人许可,任何人或机构不得以任何形式对本站内容进行复制作商业用途.
  • 本站部分文章、资源来自互联网,版权归原作者及网站所有,如果侵犯了您的权利,请及时致信告知我站.
  • 地址:中国·贵州·贵阳 邮编:550018 微信公众号:WEBZZQ 邮箱:admin@zouzhiqiang.com
  • QQ:470870191 欢迎各位站长加入个人网站交流讨论QQ群: 15410235
  • 『J8彩票登录平台个人网站 』已运行
  • 访问统计:
  • 蜀ICP备08109900号-2