搭建 RAG 和 Agent 最耗精力的是数据清洗。直接喂原始 DOM 既浪费 Token 又导致检索漂移——这是不少开发者在构建检索增强系统时踩过的坑。

有开发者系统盘点了 6 款专为大模型设计的开源数据提取与文档解析工具，分别是 Firecrawl、Crawl4AI、MarkItDown、Docling、Scrapegraph-ai 与 Maxun，为开发者提供低成本获取高信噪比数据流的选型参考。

为什么原始 DOM 不能直接喂给模型

未经清洗的网页结构包含大量无关标签。这些标签既会白白消耗 LLM 的上下文 Token，又容易引入噪声，引发检索漂移。换句话说，你花在上下文窗口上的钱，有一部分被网页的导航栏、广告位和样式代码吃掉了，而它们对回答用户问题毫无帮助。

直接解析原始 DOM 会同时损害检索质量与成本效益，这是构建 RAG 与 Agent 系统时绕不开的工程痛点。

6 款工具的共同思路

Firecrawl、Crawl4AI、Docling 等现代开源工具，针对 Markdown 转换和结构化提取做了优化。它们的共同目标是把网页和文档转成信噪比更高的数据流，从而显著降低数据预处理成本。

这 6 款工具覆盖了从网页抓取到文档解析的不同环节：

  • Firecrawl
  • Crawl4AI
  • MarkItDown
  • Docling
  • Scrapegraph-ai
  • Maxun

选择专为 LLM 设计的提取工具，能构建高信噪比的数据流。对于正在搭建 RAG 或 Agent 系统的开发者来说，这份清单提供了一条低成本的选型路径——先把数据洗干净，再谈检索效果。