网友提问:
Disallow: /域名/index.php?id=xkj76ckvnz.xml
我想禁止这样的动态页面
Disallow: /域名/index.php?id=*
各位老哥这样对吗?
热心网友回答:
User-agent: *
Disallow: /?
禁止所有搜索引擎抓取网站全部动态链接
如果只要禁止百度,在第一行:
后面修改为Baiduspider
如果要禁止干净可以再增加一项,然后修改为baiduspider
Robots 区别大小写字母
朝阳群众回答:
1、是否能成功,可以先设置下,去百度站长Robots哪里测试,看是否封禁;
2、index?后面这种一般是站点被黑生成的大量页面;
3、你可以尝试操作下,看是否可操作,屏蔽操作不用特意写域名,屏蔽文件夹、屏蔽有规则的页面等;
4、如果你的这些页面是被黑页面,如果操作屏蔽抓取也不可行,建议还是提交死链,等待删除,蜘蛛抓取这些页面,返回码404,也是不会收录,也会主动去删除这些页面。
版权声明:本文为 “非凡SEO” 原创文章,转载请附上原文出处链接及本声明;