你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!
输入关键字进行搜索
搜索:
上线之后，经常访问量突然暴增，想都不用想，是有人开始爬虫抓取了，辛辛苦苦原创写下来，却要被复制或模仿，相信大家也是不希望这样的吧
没有找到相关结果
wander - 提供Wecenter建站SEO服务 微信ID：veryql
赞同来自: yezi 、sunyang3721
1.首先可以看看日志，抓取的爬虫是搜索引擎还是伪装为搜索引擎的爬虫。如果是搜索引擎且不想被对方抓取，可以通过robots.txt屏蔽，例如，屏蔽掉yandex、DotBot、Archiver等
## robots.txt for WeCenter#User-Agent: YandexBotDisallow: /User-Agent: DotBotDisallow: /User-Agent: trendictionbotDisallow: /User-Agent: ia_archiverDisallow: /
2.如果是恶意抓取，可以分析IP地址，然后通过服务器端配置拒绝该IP的访问。
PS.反爬虫工作量、技术要求特别高，如果真有人可以针对，技术成本很高，看看大型站点在这方面的投入就知道了
yezi - 没有最好
确实有需要，怎么防止内容被技术人员窃取的问题，官方考虑一下
cooldev
你可以简单通过iptables和fail2ban来控制用户的爬虫频率。例如：如果一个ip地址在5秒钟内访问网站有20次， 你就可以通过iptables和fail2ban 禁止掉这个ip的访问。
该问题目前已经被锁定, 无法添加新回复
3 个回复
wander - 提供Wecenter建站SEO服务 微信ID：veryql
赞同来自: yezi 、sunyang3721
1.首先可以看看日志，抓取的爬虫是搜索引擎还是伪装为搜索引擎的爬虫。如果是搜索引擎且不想被对方抓取，可以通过robots.txt屏蔽，例如，屏蔽掉yandex、DotBot、Archiver等
2.如果是恶意抓取，可以分析IP地址，然后通过服务器端配置拒绝该IP的访问。
PS.反爬虫工作量、技术要求特别高，如果真有人可以针对，技术成本很高，看看大型站点在这方面的投入就知道了
yezi - 没有最好
确实有需要，怎么防止内容被技术人员窃取的问题，官方考虑一下
cooldev
你可以简单通过iptables和fail2ban来控制用户的爬虫频率。
例如：如果一个ip地址在5秒钟内访问网站有20次， 你就可以通过iptables和fail2ban 禁止掉这个ip的访问。