该问题已被锁定!
1
关注
1802
浏览

为了避免重复收录写的robots.txt 大家看下我这规则对不对

AI智能回复搜索中,请稍后...

为什么被折叠? 0 个回复被折叠

暂无回答

关于作者

问题动态

发布时间
2014-01-09 11:28
更新时间
2014-01-09 11:28
关注人数
1 人关注

相关问题

如何让首页动态中的主题不重复?
个人感觉wecenter收录不行 官网做这么久还只有5000收录 js代码太多了
用手机发图片提问题,要重复选两次图片才能添加到问题里面
百度完全不收录的吗?
大家发现没有 wecenter的收录很差
邀请注册怎样避免注册后邀请自己的小号来无限获取邀请资格
我觉的发现和问答这两块是不是重复了呢?
反馈一个话题bug,可以重复收藏,并且找不到收藏夹
SEO确实是个问题,搜索引擎收录比较差
大家百度都收录了多少了啊?

推荐内容

请教用七牛后robots.txt的设置方法
Wecenter的robots这样写 是否更好一些?
AWS哪些目录是可以禁止搜索引擎爬行的?
Google Webmaster 总是提示我Robots.txt无法访问,大家遇到吗?
wecenter的robots规则
怎么用robots屏蔽分类列表和推荐、热门、待回复
终于明白百度为啥不收录了,看看这怎么办?
请问 在robots.txt文件中,一般是放行那几个目录?