周三下午,一位爬虫工程师把自己维护了两年的脚本移进了回收站。他打开浏览器,登录目标站点,然后在终端敲了一行命令。没有抓取逻辑、没有模拟登录,浏览器里已经渲染好的数据就直接变成了结构化的JSON。

这个操作源于一个叫OpenCLI的小工具。它让你把已经登录的浏览器直接当成命令行工具用,彻底绕开从头写爬虫的那一套。原理很直接:你正常用浏览器登录账号、保持会话,OpenCLI就能复用这些状态去请求页面、提取数据,相当于把浏览器的“已登录身份”变成了命令行的数据入口。

打开网易新闻 查看精彩图片

目前这个工具一口气支持了58个平台,覆盖电商、社交、内容社区等场景,而且输出格式不止一种,你可以把数据导出成常用的表格或文本格式。以前为了爬个需要登录的页面,得对着浏览器的开发者工具抓包、拼Cookie、处理动态令牌,现在省去了这些环节。

对经常和数据打交道的人来说,OpenCLI把“有权限访问”和“能程序化获取数据”之间的鸿沟填上了。你不再需要为了一个临时需求去写和维护爬虫,只要浏览器已经打开了那个网页,敲一行命令就能把信息拿到手。