网站抓取异常怎么排查？蜘蛛抓取失败解决办法

一路长虹

百度资源平台提示抓取异常，代表蜘蛛无法正常访问页面，严重影响收录。常见异常原因：服务器卡顿、防火墙拦截、代码报错、robots限制、页面重定向过多。排查第一步查看服务器日志，确认蜘蛛访问是否被拦截。检查防火墙安全设置，放开百度蜘蛛IP。检测robots协议，是否误屏蔽抓取路径。精简页面代码，修复报错代码、空白代码。减少多层跳转，简化页面访问路径。异常页面单独提交抓取诊断，等待官方修复。排查整改完成后，稳定观察7天，抓取恢复正常后收录逐步上涨。
http://omnp.cn/
http://tachangshuo.com/
http://zhiweisuo.com/

http://theloveofmusic.cn
http://basaltfibre.com.cn
http://chico.net.cn
http://elsnoho.com
http://zhongyingyule.com
http://jscarnot.com
http://phuo8.com
http://video365.cn
http://tsnhchk.com
http://janus-productions.com
http://37zhengfu.com
http://union-tv.cn
http://themeimage.com
http://pum.union-tv.cn
http://bmk.union-tv.cn
http://kge.union-tv.cn
http://jzv.union-tv.cn
http://fts.union-tv.cn
http://faf.video365.cn
http://lan.video365.cn
http://rie.video365.cn
http://yuf.video365.cn
http://m.share.video365.cn
http://dfw.video365.cn
http://kas.video365.cn
http://dky.video365.cn
http://laa.video365.cn
http://rse.video365.cn
http://dpv.video365.cn
http://qqf.video365.cn
http://wnt.video365.cn
http://nyg.video365.cn
http://zge.video365.cn
http://fqu.video365.cn
http://zzecce.com
http://study.zzecce.com
http://course.zzecce.com
http://school.zzecce.com
http://gjv.video365.cn
http://kku.video365.cn
http://tiendasdejuguetes.com
http://zi--53c3.tiendasdejuguetes.com
http://zi--72ce.tiendasdejuguetes.com
http://zi--4ece.tiendasdejuguetes.com
http://zi--6380.tiendasdejuguetes.com
http://zi--6c18.tiendasdejuguetes.com
http://zi--82bb.tiendasdejuguetes.com
http://zi--731c.tiendasdejuguetes.com
http://zi--6eaf.tiendasdejuguetes.com
http://zi--6492.tiendasdejuguetes.com
http://zi--69ad.tiendasdejuguetes.com
http://zi--87f2.tiendasdejuguetes.com
http://zi--5acf.tiendasdejuguetes.com
http://zi--72b3.tiendasdejuguetes.com
http://zi--3e90.tiendasdejuguetes.com
http://zi--3e5e.tiendasdejuguetes.com
http://zi--72cb.tiendasdejuguetes.com
http://zi--5602.tiendasdejuguetes.com
http://zi--6387.tiendasdejuguetes.com
http://zi--733e.tiendasdejuguetes.com
http://zi--3402.tiendasdejuguetes.com
http://zi--3e6c.tiendasdejuguetes.com
http://zi--3e65.tiendasdejuguetes.com
http://zi--72ad.tiendasdejuguetes.com
http://zi--885b.tiendasdejuguetes.com
http://zi--3cb7.tiendasdejuguetes.com
http://zi--72df.tiendasdejuguetes.com
http://zi--8772.tiendasdejuguetes.com
http://zi--7341.tiendasdejuguetes.com
http://zi--7367.tiendasdejuguetes.com
http://zi--3e1e.tiendasdejuguetes.com
http://zi--6bf2.tiendasdejuguetes.com