2024年全球51%的网页流量来自自动化机器人。这个数字来自Imperva最新报告，比真人访问还多。当你刷着竞品价格、监控舆情时，另一批脚本正在24小时"抄"你的数据。
爬虫不是黑客工具，是数据时代的标准作业流程。但新手常犯一个致命错误：直接复制教程代码，对着现代网站运行，返回一片空白——因为数据是JavaScript动态渲染的。本文从HTTP请求讲到自动化管道，帮你避开这些坑。
第一步：在浏览器里做完所有侦察
写代码前先打开Chrome开发者工具。按F12，切到Network标签，刷新页面。你要确认两件事：数据藏在HTML里，还是异步加载的JSON接口。
我早年踩过的坑：照着BeautifulSoup教程抄，目标网站用了React，数据靠API回填。脚本拿到的HTML是空壳，解析结果自然为零。后来学乖了——先在浏览器里定位数据源头，再动笔。
传统页面的数据直接嵌在HTML标签里。现代单页应用（SPA）则先加载框架，再 fetch 后端接口。后者反而更好抓：JSON结构规整，不用解析DOM树。
确认数据源后，记下三个东西：请求URL、请求方法（GET/POST）、Headers里的User-Agent。有些网站会检查Referer或Cookie，这些细节决定你的脚本能不能过第一道门。
第二步：用Requests拿到原始文本
Python的requests库是HTTP请求的瑞士军刀。一行代码拿到整页HTML：
```python import requests response = requests.get('https://example.com', headers={'User-Agent': 'Mozilla/5.0'}) print(response.status_code) # 200是成功，403是被拒，429是请求太频繁 ```
状态码是你的诊断仪。200表示服务器愿意对话；403说明对方识破了你的机器人身份；429意味着你触发了频率限制，需要降速或换IP。
拿到response.text后，你手里是一长串HTML字符串。这时候需要解析器把它变成可查询的树状结构——这就是DOM（文档对象模型）。BeautifulSoup是Python圈的事实标准：
```python from bs4 import BeautifulSoup soup = BeautifulSoup(response.text, 'html.parser') titles = soup.select('.product-title') # CSS选择器定位元素 ```
CSS选择器是前端开发者的日常工具，爬虫可以直接复用。.class选类名，#id选唯一标识，[attr=value]选属性匹配。Chrome开发者工具里右键元素 → Copy → Copy selector，能直接拿到精确路径。
第三步：找到隐藏API，绕过前端渲染
很多网站的数据接口没写进文档，但前端代码里裸奔。在Network面板筛选XHR/Fetch，能看到所有异步请求。某个请求返回的Preview里正好有你要的价格、库存、评论数？恭喜你发现了内部API。
直接请求这个接口，拿到的JSON比解析HTML干净十倍。不用处理嵌套标签、不用对抗反爬，结构化的字段直接可用。这是爬虫工程师的"作弊码"——用官方没公开的渠道，拿官方拥有的数据。
但别高兴太早。内部API可能校验Cookie、签名或时间戳。复制请求的Headers和Payload，用Postman或Python复现。如果返回401或空数据，说明缺了认证环节，需要逆向JS里的加密逻辑。
这一步的门槛陡然上升。对新手来说，遇到签名验证建议换目标或接受HTML解析。逆向工程是另一门课，不是入门必修课。
第四步：存储与规模化
脚本跑完数据就消失，等于白干。JSON适合嵌套结构，比如商品详情里的规格参数；CSV适合表格导出，Excel直接打开；SQLite是本地轻量数据库，百万级数据不卡顿。
单机爬虫的瓶颈很快显现。请求频率过高会被封IP，串行执行效率低下。这时候需要代理池轮换IP，用Scrapy框架实现异步并发，或者把任务拆给多台机器。
Scrapy是Python爬虫的工业级框架。它内置了请求调度、去重、管道存储，支持中间件扩展。一个命令生成项目骨架，写几个Spider类就能跑起来。但学习曲线比requests+BeautifulSoup陡，建议先手写十个简单脚本再迁移。
数据管道是最终形态。爬虫定时触发，清洗后入库，BI工具自动出报表。Airflow或Prefect做调度，Pandas做清洗，SQLAlchemy对接数据库。这时候你的"脚本"已经进化成数据基础设施。
爬虫的法律边界比技术边界更模糊。Robots.txt是网站的"谢绝推销"告示，但法律约束力因地区而异。公开数据通常可采，但绕过登录态、破解加密接口可能触发计算机欺诈相关条款。欧盟GDPR对个人数据有严格限制，美国CFAA的司法解释反复摇摆。
2024年那51%的机器人流量里，有多少是恶意攻击？有多少是合规采集？Imperva的报告没细分，但网站运营者的防御手段越来越激进。验证码、行为检测、浏览器指纹——爬虫与反爬的军备竞赛没有终点。
你现在能写一个抓取豆瓣电影Top250的脚本了吗？如果目标换成需要登录的微信文章，或者加了Cloudflare五秒盾的站点，你的方案要怎么调整？
热门跟贴