网站robots禁止抓取哪些页面？新手标准模板

一路长虹

robots协议需要精准屏蔽无效页面，节省抓取配额。常规禁止抓取页面包含：网站后台、登录注册页、会员中心、隐私设置页、测试页面、空白页面、广告页面、重复标签页。允许抓取首页、栏目页、文章页、产品页、资讯页。禁止抓取无用动态参数，避免生成重复页面。协议语法简洁规范，不要乱写代码导致全站屏蔽。文件放置网站根目录，命名小写robots.txt。新手可以套用通用标准模板，简单修改适配自身网站。每月检查一次协议，不要频繁改动，维持抓取规则稳定。
http://omnp.cn/
http://tachangshuo.com/
http://zhiweisuo.com/

http://theloveofmusic.cn
http://basaltfibre.com.cn
http://chico.net.cn
http://elsnoho.com
http://zhongyingyule.com
http://jscarnot.com
http://phuo8.com
http://video365.cn
http://tsnhchk.com
http://janus-productions.com
http://37zhengfu.com
http://union-tv.cn
http://themeimage.com
http://pum.union-tv.cn
http://bmk.union-tv.cn
http://kge.union-tv.cn
http://jzv.union-tv.cn
http://fts.union-tv.cn
http://faf.video365.cn
http://lan.video365.cn
http://rie.video365.cn
http://yuf.video365.cn
http://m.share.video365.cn
http://dfw.video365.cn
http://kas.video365.cn
http://dky.video365.cn
http://laa.video365.cn
http://rse.video365.cn
http://dpv.video365.cn
http://qqf.video365.cn
http://wnt.video365.cn
http://nyg.video365.cn
http://zge.video365.cn
http://fqu.video365.cn
http://zzecce.com
http://study.zzecce.com
http://course.zzecce.com
http://school.zzecce.com
http://gjv.video365.cn
http://kku.video365.cn
http://tiendasdejuguetes.com
http://zi--53c3.tiendasdejuguetes.com
http://zi--72ce.tiendasdejuguetes.com
http://zi--4ece.tiendasdejuguetes.com
http://zi--6380.tiendasdejuguetes.com
http://zi--6c18.tiendasdejuguetes.com
http://zi--82bb.tiendasdejuguetes.com
http://zi--731c.tiendasdejuguetes.com
http://zi--6eaf.tiendasdejuguetes.com
http://zi--6492.tiendasdejuguetes.com
http://zi--69ad.tiendasdejuguetes.com
http://zi--87f2.tiendasdejuguetes.com
http://zi--5acf.tiendasdejuguetes.com
http://zi--72b3.tiendasdejuguetes.com
http://zi--3e90.tiendasdejuguetes.com
http://zi--3e5e.tiendasdejuguetes.com
http://zi--72cb.tiendasdejuguetes.com
http://zi--5602.tiendasdejuguetes.com
http://zi--6387.tiendasdejuguetes.com
http://zi--733e.tiendasdejuguetes.com
http://zi--3402.tiendasdejuguetes.com
http://zi--3e6c.tiendasdejuguetes.com
http://zi--3e65.tiendasdejuguetes.com
http://zi--72ad.tiendasdejuguetes.com
http://zi--885b.tiendasdejuguetes.com
http://zi--3cb7.tiendasdejuguetes.com
http://zi--72df.tiendasdejuguetes.com
http://zi--8772.tiendasdejuguetes.com
http://zi--7341.tiendasdejuguetes.com
http://zi--7367.tiendasdejuguetes.com
http://zi--3e1e.tiendasdejuguetes.com
http://zi--6bf2.tiendasdejuguetes.com