网站robots.txt文件写法规范，屏蔽无效抓取

一路长虹

robots文件是网站抓取规则说明书，用来引导蜘蛛、屏蔽无效页面。新手常见错误：乱写屏蔽代码、误屏蔽收录路径、禁止蜘蛛抓取。正规写法：允许抓取首页、文章、产品、栏目页；屏蔽后台、登录、广告、隐私、标签、归档页面；屏蔽无用插件、模板样式、缓存文件；语法简洁，不要多余复杂代码。文件放置网站根目录，编码格式统一utf-8。修改后提交搜索引擎检测，确认屏蔽无误。合理配置robots，节约抓取配额，集中权重给优质页面。
http://omnp.cn/
http://tachangshuo.com/
http://zhiweisuo.com/

http://theloveofmusic.cn

http://chico.net.cn
http://elsnoho.com
http://zhongyingyule.com
http://jscarnot.com
http://phuo8.com
http://video365.cn
http://tsnhchk.com
http://janus-productions.com
http://37zhengfu.com
http://union-tv.cn
http://themeimage.com
http://pum.union-tv.cn
http://bmk.union-tv.cn
http://kge.union-tv.cn
http://jzv.union-tv.cn
http://fts.union-tv.cn
http://faf.video365.cn
http://lan.video365.cn
http://rie.video365.cn
http://yuf.video365.cn
http://m.share.video365.cn
http://dfw.video365.cn
http://kas.video365.cn
http://dky.video365.cn
http://laa.video365.cn
http://rse.video365.cn
http://dpv.video365.cn
http://qqf.video365.cn
http://wnt.video365.cn
http://nyg.video365.cn
http://zge.video365.cn
http://fqu.video365.cn
http://zzecce.com
http://study.zzecce.com
http://course.zzecce.com
http://school.zzecce.com
http://gjv.video365.cn
http://kku.video365.cn
http://tiendasdejuguetes.com
http://zi--53c3.tiendasdejuguetes.com
http://zi--72ce.tiendasdejuguetes.com
http://zi--4ece.tiendasdejuguetes.com
http://zi--6380.tiendasdejuguetes.com
http://zi--6c18.tiendasdejuguetes.com
http://zi--82bb.tiendasdejuguetes.com
http://zi--731c.tiendasdejuguetes.com
http://zi--6eaf.tiendasdejuguetes.com
http://zi--6492.tiendasdejuguetes.com
http://zi--69ad.tiendasdejuguetes.com
http://zi--87f2.tiendasdejuguetes.com
http://zi--5acf.tiendasdejuguetes.com
http://zi--72b3.tiendasdejuguetes.com
http://zi--3e90.tiendasdejuguetes.com
http://zi--3e5e.tiendasdejuguetes.com
http://zi--72cb.tiendasdejuguetes.com
http://zi--5602.tiendasdejuguetes.com
http://zi--6387.tiendasdejuguetes.com
http://zi--733e.tiendasdejuguetes.com
http://zi--3402.tiendasdejuguetes.com
http://zi--3e6c.tiendasdejuguetes.com
http://zi--3e65.tiendasdejuguetes.com
http://zi--72ad.tiendasdejuguetes.com
http://zi--885b.tiendasdejuguetes.com
http://zi--3cb7.tiendasdejuguetes.com
http://zi--72df.tiendasdejuguetes.com
http://zi--8772.tiendasdejuguetes.com
http://zi--7341.tiendasdejuguetes.com
http://zi--7367.tiendasdejuguetes.com
http://zi--3e1e.tiendasdejuguetes.com
http://zi--6bf2.tiendasdejuguetes.com
http://tyhcn.com
http://dcwyg.com
http://zxwhz.com