ScrapeGraphAI：基于大型语言模型与图逻辑的Python爬虫库，实现“一次爬取，多次利用”的高效数据提取方案。| #爬虫

• 利用LLM（如OpenAI、Ollama等）和图结构构建灵活爬取管线，支持网页及本地文档（HTML、Markdown、JSON、XML等）
• 多种爬取模式：单页智能提取（SmartScraperGraph）、多页搜索结果抓取（SearchGraph）、音频生成（SpeechGraph）、自动生成Python脚本（ScriptCreatorGraph）等，满足复杂场景需求
• 完善集成生态：支持Python、Node.js SDK，兼容Langchain、Llama Index、Zapier、Bubble等主流低代码/无代码平台，极大降低二次开发门槛
• 简单易用：5行代码快速上手，官方推荐虚拟环境安装，Playwright支持动态网页内容抓取
• 透明开源，MIT协议授权，活跃社区持续更新，20.5k⭐️，1700+ Fork，适合科研、数据分析、自动化工程长期参考与实践
• 详尽文档与示例代码覆盖多语言接口，支持多模型并行调用，灵活切换本地或云端LLM，强调方法论与长远适用性

ScrapeGraphAI通过“语言理解+图结构”策略，将爬虫从传统规则驱动转向智能语义驱动，极大提升数据清洗和结构化效率，是下一代智能数据抽取范式的典范。

强大的网页爬取与数据提取应用，助力高效采集网络信息。

高级爬虫功能，支持深度、速度和目标内容高度定制；多语言搜索，可针对不同国家和地区进行内容采集；提供Python、Node.js、Go等多语言客户端SDK，无缝对接多种开发环境

WaterCrawl | #爬虫

为Cursor、Claude等LLM客户端提供强大的网页爬取能力，让数据获取变得轻松高效。

支持网页爬取、搜索、内容提取等多种功能；配备智能重试机制，自动处理网络问题；提供信用使用监控，避免意外中断

Firecrawl MCP Server | #爬虫 #工具

“指哪打哪”的爬虫，Firecrawl 推出 /extract 功能，该功能使得网页数据提取变得简单高效，支持用户通过自然语言提示来获取所需数据。

用户无需手动编写提取脚本，即可从任何网站提取结构化数据，且该功能能够适应网站内容的变化，避免了传统爬虫因网站更新而频繁失效的问题。

Firecrawl 的 API 支持一次性提取单个页面或数千个子页面的数据，并且没有上下文窗口的限制，能够处理大量的提取任务。

Firecrawl Extract | #爬虫

TLNewsSpider-舆情信息获取 - 狠心开源企业级舆情爬虫项目：支持任意数量爬虫一键运行、爬虫定时任务、爬虫批量删除；爬虫一键部署；爬虫监控可视化; 配置集群爬虫分配策略；现成的docker一键部署

TLNewsSpider | #工具 #爬虫

awesome-web-scraping

这里面收集了有关网络 #爬虫 的各种资料、工具库的列表，不仅仅是 Python，还有 Go、Ruby、JavaScript、PHP ，一些爬虫商业服务、控制台工具、无头浏览器、验证码破解网站等 中文版