增加一个反爬虫的功能吧

上线之后,经常访问量突然暴增,想都不用想,是有人开始爬虫抓取了,辛辛苦苦原创写下来,却要被复制或模仿,相信大家也是不希望这样的吧

已邀请:

wander - 提供Wecenter建站SEO服务 微信ID:veryql

赞同来自: yezi

1.首先可以看看日志,抓取的爬虫是搜索引擎还是伪装为搜索引擎的爬虫。如果是搜索引擎且不想被对方抓取,可以通过robots.txt屏蔽,例如,屏蔽掉yandex、DotBot、Archiver等

#
# robots.txt for WeCenter
#
User-Agent: YandexBot
Disallow: /
User-Agent: DotBot
Disallow: /
User-Agent: trendictionbot
Disallow: /
User-Agent: ia_archiver
Disallow: /

2.如果是恶意抓取,可以分析IP地址,然后通过服务器端配置拒绝该IP的访问。


PS.反爬虫工作量、技术要求特别高,如果真有人可以针对,技术成本很高,看看大型站点在这方面的投入就知道了


yezi - 没有最好

确实有需要,怎么防止内容被技术人员窃取的问题,官方考虑一下

你可以简单通过iptables和fail2ban来控制用户的爬虫频率。
例如:如果一个ip地址在5秒钟内访问网站有20次, 你就可以通过iptables和fail2ban 禁止掉这个ip的访问。

要回复问题请先登录注册