搞爬虫、跑批量请求,最头大的是什么?IP被墙,一死死一片,任你代码写出花来也白瞎。

搞爬虫、跑批量请求,最头大的是什么?IP被墙,一死死一片,任你代码写出花来也白瞎。

给你安利个硬核玩意儿:mubeng,Go写的,速度猛得一批,核心就干两件事:

1️⃣ 本地起一个代理服务器,每发一次请求自动换一个IP,什么暴力破解防护、API限速、按IP封的WAF,统统绕道走

2️⃣ 顺手帮你把代理池体检一遍,哪个能蹦跶哪个已经凉了,一眼看穿,别的验代理工具可以卸载了

HTTP、SOCKS、Amazon API Gateway全支持,Windows、Linux、Mac甚至树莓派都能跑,几乎零配置,扔个代理文件进去就开工。轮换逻辑再也不用自己手搓了。
项目地址甩这儿:https://github.com/mubeng/mubeng


分类