你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!
输入关键字进行搜索
搜索:
上线之后,经常访问量突然暴增,想都不用想,是有人开始爬虫抓取了,辛辛苦苦原创写下来,却要被复制或模仿,相信大家也是不希望这样的吧
没有找到相关结果
wander - 提供Wecenter建站SEO服务 微信ID:veryql
赞同来自: yezi 、sunyang3721
1.首先可以看看日志,抓取的爬虫是搜索引擎还是伪装为搜索引擎的爬虫。如果是搜索引擎且不想被对方抓取,可以通过robots.txt屏蔽,例如,屏蔽掉yandex、DotBot、Archiver等
## robots.txt for WeCenter#User-Agent: YandexBotDisallow: /User-Agent: DotBotDisallow: /User-Agent: trendictionbotDisallow: /User-Agent: ia_archiverDisallow: /
2.如果是恶意抓取,可以分析IP地址,然后通过服务器端配置拒绝该IP的访问。
PS.反爬虫工作量、技术要求特别高,如果真有人可以针对,技术成本很高,看看大型站点在这方面的投入就知道了
yezi - 没有最好
确实有需要,怎么防止内容被技术人员窃取的问题,官方考虑一下
cooldev
你可以简单通过iptables和fail2ban来控制用户的爬虫频率。例如:如果一个ip地址在5秒钟内访问网站有20次, 你就可以通过iptables和fail2ban 禁止掉这个ip的访问。
该问题目前已经被锁定, 无法添加新回复
3 个回复
wander - 提供Wecenter建站SEO服务 微信ID:veryql
赞同来自: yezi 、sunyang3721
1.首先可以看看日志,抓取的爬虫是搜索引擎还是伪装为搜索引擎的爬虫。如果是搜索引擎且不想被对方抓取,可以通过robots.txt屏蔽,例如,屏蔽掉yandex、DotBot、Archiver等
2.如果是恶意抓取,可以分析IP地址,然后通过服务器端配置拒绝该IP的访问。
PS.反爬虫工作量、技术要求特别高,如果真有人可以针对,技术成本很高,看看大型站点在这方面的投入就知道了
yezi - 没有最好
确实有需要,怎么防止内容被技术人员窃取的问题,官方考虑一下
cooldev
你可以简单通过iptables和fail2ban来控制用户的爬虫频率。
例如:如果一个ip地址在5秒钟内访问网站有20次, 你就可以通过iptables和fail2ban 禁止掉这个ip的访问。