robots.txt

　　robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 　　当一个... 查看详情>

共 9 讨论,7天新增 1 个讨论,30天新增 1 个讨论

综合 问题 文章 悬赏 简介
最新排序
热门排序
推荐内容
唐三唐三 发起了提问 2019-11-26 17:15
robots.txt
问答 wecenter的robots规则
# # robots.txt for WeCenter # User-agent: * Disallow: /app/ Disallow: /cache/ Disallow: /install/ Disallow: /models/ Disallow: /system/ Disallow: /tm...:
raycinhaoraycinhao 回复了问题 2014-11-14 11:56
robots.txt 七牛
问答 请教用七牛后robots.txt的设置方法
raycinhao: 互相不影响吧
哥特复兴哥特复兴 回复了问题 2014-04-20 19:03
百度 bug robots.txt SEO
问答 终于明白百度为啥不收录了，看看这怎么办？
哥特复兴: http://wenda.wecenter.com/robots.txt 官方的robots,你看下和你的有什么不同 ，然后百度看下官方有没有收录
呵呵呵打呵呵呵打 回复了问题 2015-08-07 09:13
wecenter robots.txt
问答 Wecenter的robots这样写 是否更好一些？
呵呵呵打: 为什么不能上传图片
zhengqiangzhengqiang 回复了问题 2014-01-05 19:28
robots.txt
问答 Google Webmaster 总是提示我Robots.txt无法访问，大家遇到吗？
zhengqiang: 伪静态排除掉robots.txt文件。不过就算不排除，google不会有问题，基本上google都是1-2天收录。
流落在黄昏流落在黄昏 发起了提问 2015-10-17 09:21
robots.txt
问答 怎么用robots屏蔽分类列表和推荐、热门、待回复
Disallow: /exolore/ Disallow: /is_recommend-1* 这样可以吗:
zhengqiangzhengqiang 回复了问题 2012-10-12 12:55
robots.txt 搜索引擎
问答 AWS哪些目录是可以禁止搜索引擎爬行的？
zhengqiang: 只要服务器把列目录的功能关闭，不能爬行的都不会被爬。
trumanwangtrumanwang 回复了问题 2015-01-11 18:02
robots.txt
问答 请问 在robots.txt文件中，一般是放行那几个目录？
trumanwang: 这个看自己设置了！ 信息列表，文章问答页肯定需要！ 实在不懂，直接下载官方的：）跟着党走相对安全！
rogerroger 发起了提问 2014-01-09 11:28
robots.txt
问答 为了避免重复收录写的robots.txt 大家看下我这规则对不对
要禁止收录类似如下所示url的！ 大家帮我看下我写的这个对不对哈,这些页面都是未登录页存在的url，会造成一定的重复内容。 Disallow: /*/is_recommend-1 Disallow: /*/sort_type-hot__day-30 Disallow: /*/sort_type-...:
发讨论
写文章
话题日志

热门话题

折叠答案

网站定位

首页动态

新浪sae

微信订阅号

All Rights Reserved Powered BY WeCenter V4.1.0 © 2024 皖公网安备 34019202000400号