robots.txt

　　robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 　　当一个... 查看详情>

共 9 讨论,7天新增 1 个讨论,30天新增 1 个讨论

综合 问题 文章 悬赏 简介
最新排序
热门排序
推荐内容
zhengqiangzhengqiang 回复了问题 2012-10-12 12:55
robots.txt 搜索引擎
问答 AWS哪些目录是可以禁止搜索引擎爬行的？
zhengqiang: 只要服务器把列目录的功能关闭，不能爬行的都不会被爬。
trumanwangtrumanwang 回复了问题 2014-01-06 19:52
robots.txt
问答 Google Webmaster 总是提示我Robots.txt无法访问，大家遇到吗？
trumanwang: 放根目录了么？
rogerroger 发起了提问 2014-01-09 11:28
robots.txt
问答 为了避免重复收录写的robots.txt 大家看下我这规则对不对
要禁止收录类似如下所示url的！ 大家帮我看下我写的这个对不对哈,这些页面都是未登录页存在的url，会造成一定的重复内容。 Disallow: /*/is_recommend-1 Disallow: /*/sort_type-hot__day-30 Disallow: /*/sort_type-...:
sinosohosinosoho 回复了问题 2014-04-21 08:54
百度 bug robots.txt SEO
问答 终于明白百度为啥不收录了，看看这怎么办？
sinosoho: 我的 www.e.ah.cn 收录正常~但排名不好~这也正常~！
shawshaw 回复了问题 2014-11-14 19:41
robots.txt 七牛
问答 请教用七牛后robots.txt的设置方法
shaw: 两个都需要，上传到七牛的robots.txt是xxx.qiniudn.com的防止搜索引擎收录的，不关你自己网站什么事
trumanwangtrumanwang 回复了问题 2015-01-11 18:02
robots.txt
问答 请问 在robots.txt文件中，一般是放行那几个目录？
trumanwang: 这个看自己设置了！ 信息列表，文章问答页肯定需要！ 实在不懂，直接下载官方的：）跟着党走相对安全！
a279257725a279257725 回复了问题 2015-08-07 15:45
wecenter robots.txt
问答 Wecenter的robots这样写 是否更好一些？
a279257725: 那些都是次要的，如果你真的是想做站，把people目录禁了，听我的没错。
流落在黄昏流落在黄昏 发起了提问 2015-10-17 09:21
robots.txt
问答 怎么用robots屏蔽分类列表和推荐、热门、待回复
Disallow: /exolore/ Disallow: /is_recommend-1* 这样可以吗:
唐三唐三 发起了提问 2019-11-26 17:15
robots.txt
问答 wecenter的robots规则
# # robots.txt for WeCenter # User-agent: * Disallow: /app/ Disallow: /cache/ Disallow: /install/ Disallow: /models/ Disallow: /system/ Disallow: /tm...:
发讨论
写文章
话题日志

热门话题

explore

环境

用户组

vps

2.2.2

All Rights Reserved Powered BY WeCenter V4.1.0 © 2024 皖公网安备 34019202000400号