爬行调度程序

我们很高兴地宣布推出一个爬虫调度器模块，它可以同时处理数千个爬虫任务。通过高效管理系统资源（内存、CPU、网络），该调度器可确保大规模高性能数据提取。它还能实时监控每个爬虫的状态、内存使用情况和整体进度。

敬请期待——此功能即将在 Crawl4AI 的后续版本中推出！如需获取最新消息，请关注我们的更新日志，并在 X 上关注@unclecode 。

下面是调度程序性能监视器实际运行的示例：

我们迫不及待地想为您带来这种简化、可扩展的多 URL 抓取方法 - 请关注此处的更新！