robots.txt

robots.txt

  robots.txt是一个协议,而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。   当一个... 查看详情>

共 9 讨论,7天新增1个讨论,30天新增1个讨论

唐三唐三 发起了提问 2019-11-26 17:15
# # robots.txt for WeCenter # User-agent: * Disallow: /app/ Disallow: /cache/ Disallow: /install/ Disallow: /models/ Disallow: /system/ Disallow: /tm...
流落在黄昏流落在黄昏 发起了提问 2015-10-17 09:21
Disallow: /exolore/ Disallow: /is_recommend-1* 这样可以吗
a279257725a279257725 回复了问题 2015-08-07 15:45
a279257725 :那些都是次要的,如果你真的是想做站,把people目录禁了,听我的没错。
trumanwangtrumanwang 回复了问题 2015-01-11 18:02
trumanwang :这个看自己设置了! 信息列表,文章问答页肯定需要! 实在不懂,直接下载官方的:)跟着党走相对安全!
shawshaw 回复了问题 2014-11-14 19:41
shaw :两个都需要,上传到七牛的robots.txt是xxx.qiniudn.com的防止搜索引擎收录的,不关你自己网站什么事
sinosohosinosoho 回复了问题 2014-04-21 08:54
sinosoho :我的 www.e.ah.cn 收录正常~但排名不好~这也正常~!
rogerroger 发起了提问 2014-01-09 11:28
要禁止收录类似如下所示url的! 大家帮我看下我写的这个对不对哈,这些页面都是未登录页存在的url,会造成一定的重复内容。 Disallow: /*/is_recommend-1 Disallow: /*/sort_type-hot__day-30 Disallow: /*/sort_type-...
trumanwangtrumanwang 回复了问题 2014-01-06 19:52
trumanwang :放根目录了么?
zhengqiangzhengqiang 回复了问题 2012-10-12 12:55
zhengqiang :只要服务器把列目录的功能关闭,不能爬行的都不会被爬。

热门话题

样式

新浪云

第三方开发

话题权限

未来

All Rights Reserved Powered BY WeCenter V4.0.3 © 2022 粤ICP备17116736号