rebots.txt的设置，怎么设置可以减少带宽，还可以增加搜索引擎对网站的收录？ - WeCenter 社交化知识问答社区程序

该问题已被锁定！

5: 关注

2360: 浏览

rebots.txt的设置，怎么设置可以减少带宽，还可以增加搜索引擎对网站的收录？

网站优化

好问题 1 评论收藏举报

AI智能回复搜索中，请稍后...

2 回答

gamebus 初级会员用户来自于: 北京市
2013-08-07 10:58

nofollow并不能阻止抓取，他的作用是不传递权重，蜘蛛依然会抓。 robots可以禁止效价比非常低的搜索蜘蛛抓取，还可以禁止不是搜索引擎的蜘蛛抓去，当然前提是这个蜘蛛遵守这个协议。比如这边禁止了某蜘蛛，此蜘蛛疯狂抓取，流量贡献却微乎其微，索性将其禁止。这样每个月至少节约了几个g的流量。 robots还可以引导蜘蛛，告诉他哪些可以抓，那些不能抓，这样也能节约一定的流量。想增加索引量，robots可以做的是，告诉蜘蛛你网站的地图在哪里，让蜘蛛去抓取地图。感觉质量高，数量多的内容才是提高索引量的根本。有兴趣的话，可以继续探讨这个问题。

赞同 0 0评论

阿北初级会员用户来自于: 安徽省阜阳市
2013-08-07 00:04

robots 没有办法，它本身就是禁止收录的命令。除非你是考虑网站定位问题，比如你并不希望通过百度图片获取流量，可以考虑屏蔽掉图片蜘蛛来节省带宽，依次类推其他类型的蜘蛛。除此之外可以考虑用 nofollow 来引导蜘蛛抓取重要的内容。内容较多可以参考： http://ask.seowhy.com/question/1544

赞同 2 0评论

关于作者

: itdazhu 注册会员
这家伙很懒，还没有设置简介

2: 回答

0: 文章

3: 问题

问题动态

发布时间: 2013-08-06 23:46

更新时间: 2013-08-07 10:58

关注人数: 5 人关注

相关问题

anwsion的后台怎么进: 1868 浏览 3 关注 1 回答 1 评论

微信认证服务号，后台怎么把网站的多条问题和文章群发出去？: 2289 浏览 1 关注 1 回答 0 评论

怎么样进行版本升级呢？是不是直接将新版程序拷贝过去，直接覆盖旧版就行: 2159 浏览 2 关注 2 回答 0 评论

请问哪位考虑过更换验证码的代码？有能力的可以看看http://www.captcha.ru/en/kcaptcha/ 的代码可以用到ＷＣ中么？: 1415 浏览 4 关注 0 回答 0 评论

工单的邀请是怎么回事？: 2419 浏览 5 关注 2 回答 0 评论

什么时候可以出一个问答采集器阿？这样有利于个人站长运营网站！！: 2704 浏览 4 关注 3 回答 1 评论

升级之后为题好多，可能是升级的时候没弄好，想重新升一下级该怎么弄？: 1425 浏览 2 关注 1 回答 0 评论

请问wecenter和discuz整合后，积分可以互通吗？两个程序公用一个积分。: 1043 浏览 1 关注 0 回答 0 评论

修改两个文件，易信与微信（订阅号）两个平台就可以共同使用了，先验证现修改，不提供后续辅助！: 4160 浏览 8 关注 3 回答 0 评论

谁能告知下IIS怎么做伪静态啊: 2364 浏览 3 关注 1 回答 0 评论

推荐内容

问大家帮我看看怎么我网站不收录: 2955 浏览 2 关注 2 回答 0 评论

问 wecenter搭建的品牌网求友情链接: 2372 浏览 4 关注 1 回答 0 评论

问手机版调用用户头像失败？获取的是默认头像、ID输出不成功。求帮忙看看: 2442 浏览 1 关注 0 回答 0 评论

问征集wc网站优化的高手: 2619 浏览 3 关注 2 回答 0 评论

问找人优化网站: 1175 浏览 1 关注 0 回答 0 评论

问刚才进后台把网站地址和目录地址给改了，不过填写错了，在哪个文件里面改？: 2038 浏览 2 关注 2 回答 0 评论

问小工具网站请大家给点建议: 3366 浏览 3 关注 1 回答 0 评论

问疑问：发文章没有积分吗？: 1338 浏览 2 关注 0 回答 0 评论

问如何提升网站速度？: 2586 浏览 6 关注 5 回答 0 评论

All Rights Reserved Powered BY WeCenter V4.1.0 © 2024 皖公网安备 34019202000400号