打开网易新闻 查看精彩图片

爬虫工程师的噩梦正在升级。去年Cloudflare一家就拦截了5万亿次恶意请求，反爬虫系统从单一检测进化成多层围猎——IP、行为指纹、浏览器特征，层层加码。但道高一尺，爬虫圈也摸索出了对应的"拆弹手册"。

最基础的防线是IP轮换，但 Residential 代理和数据中心代理的差距，就像民宿和快捷酒店的隐蔽性区别。更关键的是节奏控制：并发请求压到5个以内，随机延迟2到8秒，模拟真人那种"看完一段愣一下"的浏览习惯。代码里加个 asyncio.Semaphore，比买一堆IP管用。

当网站祭出JavaScript检测，就得请出无头浏览器。但默认的Playwright和Puppeteer会泄露自动化特征——就像戴着工牌混进演唱会。社区开源的 stealth 插件能修补大部分漏洞，不过有个冷知识：有头模式比无头模式更难被抓，服务器上跑的话得搭个虚拟显示器 xvfb，假装有人在看屏幕。

最后一道关卡是CAPTCHA。人工打码平台的价格已经卷到每千次2美元左右，API对接就是发请求、轮询结果两行代码的事。有开发者吐槽：「现在爬数据，成本大头不是服务器，是买代理和解验证码。」

反爬虫和爬虫的军备竞赛还在加速。Cloudflare最新财报里，安全业务收入涨了27%，而GitHub上 stealth 相关项目的Star数也在同步飙升。这场猫鼠游戏没有终局，只有谁更舍得堆成本、磨细节。