GitHub

背景与触动 看到这篇文章的第一反应是很意外——很多人做数据抓取，第一反应是找付费 API，一问价格每月几百到几千美元，还得签合同。但 GitHub 上已经有人把工业级的爬虫工具开源了，能抗反爬、能处理百万页面，而且完全免费。 这个认知差很有意思。商业服务之所以能卖高价，核心在于「省事」——但当你知道有这些开源替代品存在后，花钱的理由就变薄了。 下面按照原文的分类框架，重新梳理学习笔记，加上自己的理解和思考。 AI 时代首选：Firecrawl 和 Crawl4AI Firecrawl — 全场 Star 最高的爬虫项目 基础信息： GitHub：156,060 Star 地址：github.com/firecrawl/firecrawl 原仓库在 mendableai 名下，现已迁移到独立组织 firecrawl 核心能力： 指向任意网站，返回 Markdown 或结构化 JSON 自动处理 JS 渲染、反爬绕过、多页爬取 支持自托管或 API 调用 学习笔记： 这个工具的出现其实反映了一个大趋势——以前爬虫的目标是「把数据抓下来」，现在 AI 时...