Crawl4AI 博客

欢迎来到 Crawl4AI 博客！在这里，您可以找到详细的发行说明、技术见解以及项目的最新动态。无论您是想了解最新改进，还是想深入了解网络爬虫技术，这里都是您的理想之选。

精选文章

2025年1月29日

传统的爬虫就像时间无限的游客——它们会走遍每一条街道、每一条小巷、每一条死胡同。但如果您的爬虫能够像一位有最后期限的研究人员一样思考，会怎么样呢？探索自适应爬虫如何通过判断何时停止来彻底改变网页抓取。了解三层智能系统如何评估覆盖率、一致性和饱和度，从而构建专注的知识库，而不是无休止的页面集合。

2025年1月24日

您是否想过，为什么您的 AI 编程助手即使拥有详尽的文档，仍然难以理解您的代码库？本文介绍了三维上下文协议，它彻底改变了 AI 理解代码的方式。了解为什么记忆、推理和示例共同创造了智慧，而不仅仅是信息。

2024年12月23日

Crawl4AI v0.6.0 带来了重大的架构升级，包括全球感知爬取（设置地理位置、语言环境和时区）、实时流量捕获以及带有预热页面的内存高效爬取器池。

Docker 服务器现已开放功能齐全的 MCP 套接字 + SSE 接口，支持流式传输，并配备了全新的 Playground UI。此外，表格提取现已原生支持，新的压力测试框架支持抓取 1,000 多个 URL。

其他主要变化：

亲爱的爬虫朋友们，Crawl4AI v0.5.0 正式发布啦！此版本带来了丰富的新功能、性能提升以及更流畅的开发者体验。以下是新功能的详细介绍：

主要新功能：

深度爬取：使用可配置策略（广度优先、深度优先、最佳优先）探索整个网站。自定义过滤器和 URL 评分，实现定向爬取。
内存自适应调度器：轻松处理大规模爬取！我们的新调度器会根据可用内存动态调整并发度，并内置速率限制功能。
多种爬虫策略：在功能齐全的基于 Playwright 浏览器的爬虫或新的、速度更快的仅限 HTTP 的爬虫之间进行选择，以完成更简单的任务。
Docker 部署：将 Crawl4AI 部署为可扩展的、独立的服务，具有内置 API 端点和可选的 JWT 身份验证。
命令行界面 (CLI)：直接从终端与 Crawl4AI 交互。使用简单的命令即可抓取、配置和提取数据。
LLM 配置（LLMConfig ）：一种新的、统一的方式来配置 LLM 提供程序（OpenAI、Anthropic、Ollama 等），以进行提取、过滤和模式生成。简化了 API 密钥管理和模型之间的切换。

小更新和改进：

重大变更和迁移：

此版本包含多项重大变更，旨在改进库的结构和一致性。以下是您需要了解的内容：

行为：现在使用MemoryAdaptiveDispatcher默认情况下。返回类型取决于stream参数输入CrawlerRunConfig. 调整依赖于无限制并发的代码。
地点：已移至CrawlerRunConfig现在控制爬行深度。
深度抓取导入：导入DeepCrawlStrategy以及来自的相关课程crawl4ai.deep_crawling。
API：已更新；旧的get_context方法已被弃用。
可选模型字段：许多数据模型字段现在是可选的。处理潜在的None值。
枚举：替换为策略模式（WebScrapingStrategy ，LXMLWebScrapingStrategy ）。
参数：从CrawlerRunConfig. 使用提取策略或带有过滤器的 markdown 生成器。
删除的功能：同步WebCrawler、旧的 CLI 和文档管理工具已被删除。
Docker：部署方面有重大变化。请参阅Docker 文档。
：该文件已被删除。
配置：FastFilterChain 已被 FilterChain 取代
深度爬行：DeepCrawlStrategy.arun 现在返回 Union[CrawlResultT, List[CrawlResultT], AsyncGenerator[CrawlResultT, None]]
代理：删除同步 WebCrawler 支持和相关速率限制配置
LLM 参数：使用新的LLMConfig对象而不是传递provider，api_token ，base_url ，和api_base直接LLMExtractionStrategy和LLMContentFilter。