去年有个数据挺扎心的：全球 47% 的网站 robots.txt 配置错误，导致搜索引擎要么漏爬重要页面，要么把后台暴露给爬虫。更荒唐的是，开发者想修这个问题，得先注册账号、看30秒广告、再把敏感路径传到陌生服务器。
一个做 SEO 工具的产品经理实在忍不了，花两周搓了个纯浏览器端方案。没登录、没后端、没广告，断网照样跑。上线一周，GitHub 星标破了 3000。
为什么非得"离线可用"？
这事得从 robots.txt 的尴尬地位说起。它文件小、语法简单，但搞砸了代价巨大——Google 爬虫进不来，或者后台登录页被全网索引。
传统工具的问题在于"过度工程化"。你只是想生成几行文本，它非要你走完整套 SaaS 流程：OAuth 登录、项目创建、云端保存、最后导出。你的 /admin 路径、内部 API 地址，全在人家的服务器上转了一圈。
这位开发者（项目主页没留真名，只写了"独立开发者，前产品经理"）的解法很粗暴：全部计算扔给浏览器，服务器只负责扔给你一个 HTML 文件。
技术栈选得也狠：纯原生 JavaScript，没 React、没 Vue、没构建工具。打包完 47KB，比一张高清配图还小。Service Worker 一装，PWA 模式启动，断网照样生成规则、照样测试语法。
功能做减法，反而杀出重围
打开网站的第一印象是"空"。没有仪表盘，没有模板市场，左侧输入框、右侧预览区，中间就一个"复制"按钮。
但该有的硬核功能一个没落：多 User-Agent 规则并行、Sitemap 自动拼接、Crawl-delay 精细控制、实时语法校验。输入框里打个 /admin，右侧立刻标红提示"这会把后台暴露给所有爬虫"。
最骚的是内置的 Tester。别家工具生成完文件让你自己想办法验证，这里直接模拟 Googlebot、Bingbot、百度蜘蛛的爬取路径，输入 URL 秒出结果：允许还是拒绝，一目了然。
开发者自己在更新日志里写：「我删掉过三个"看起来很有用"的功能——团队协作、历史版本、云端同步。每个都拖慢加载速度，每个都触碰隐私红线。」
隐私即卖点，这个等式怎么成立的
SEO 工具行业有个公开的秘密：你的 robots.txt 泄露的信息，比想象中多得多。Disallow 列表里藏着未发布的产品线、内部测试环境、甚至收购谈判期的临时域名。
把这类数据交给第三方平台，等于主动递上商业情报。2023 年某头部 SEO 工具就出过事——匿名聚合数据里，竟能反向还原出客户的完整站点结构。
这个项目的隐私策略写在代码里，而不是用户协议里：没有 API 调用，没有 analytics 埋点，localStorage 都不用。浏览器 DevTools 打开，Network 标签干干净净，唯一的请求是加载页面本身。
这种"可验证的隐私"在开发者社区炸开了锅。Hacker News 热评第一：「终于不用为了生成 5 行文本，把公司架构图卖给 Silicon Valley 的数据贩子。」
从工具到方法论
项目 README 里有段话被截图转发了上千次：「Dev tools don't need accounts. Simplicity beats feature overload. Privacy can be a strong differentiator.」
翻译成产品经理的黑话：工具类产品卷功能数量是死路，卷信任成本才是活路。账号体系、云服务、协作功能——每加一层，用户的心理负担指数级上升。
这个 robots.txt 生成器的用户画像很有意思：不是 SEO 小白，反而是资深工程师和 Tech Lead。他们完全有能力手写规则，但愿意为"确定性"付费——确定数据不出本机、确定没有暗门、确定明天这家公司倒闭了工具照样能用。
开源社区已经开始二创。有人 fork 出来加了 Nginx 配置生成，有人做了 CLI 版本集成进 CI/CD，最离谱的一个分支把整个界面换成了 90 年代终端风格——绿字黑底，光标闪烁，硬核得要命。
开发者现在的难题是"要不要收钱"。打赏链接挂了一周，入账 400 多美元，够付两个月服务器（虽然几乎没服务器成本）。付费功能想了三个：团队共享规则模板、批量站点管理、历史版本对比——每个都和他当初砍掉的功能一模一样。
他在 Twitter 上问：「如果加付费层，隐私承诺还能守住吗？」
评论区最高赞回复：「别动。你现在值 3000 个星标，就是因为什么都没动。」
热门跟贴