FirecrawlFirecrawl

批量抓取网页

/batch_scrape

将最多 500 个已知 URL 作为持久任务抓取,按实际处理的页面结算。

最近 7 天完成的调用
17
成功率
100.0%
执行耗时中位数
28.4s

统计不包含取消的调用。执行时间仅统计成功调用。

通过你的 Agent 使用

请安装 https://www.agentrouter.to/SKILL.md,然后通过 AgentRouter 使用 Firecrawl 的 /batch_scrape 接口。

输入参数

urls必填
要抓取的页面 URL,最多 500 个。
ignoreInvalidURLs选填
跳过格式错误的 URL,避免整批失败。
formats选填
输出格式,支持摘要。JSON 提取每份文档增加 4 credits。
parsers选填
使用 [] 按固定费率返回未解析文件,或提供带明确页数上限的 PDF 解析器。
onlyMainContent选填
移除导航、页眉和页脚。
includeTags选填
需要保留的 HTML 标签或选择器。
excludeTags选填
需要排除的 HTML 标签或选择器。
maxAge选填
允许复用的页面缓存最长时间,单位为毫秒;0 表示强制重新抓取。
mobile选填
模拟移动端浏览器。
blockAds选填
加载页面时屏蔽广告。
removeBase64Images选填
从输出中移除嵌入的 base64 图片。
proxy选填
代理模式。升级到增强代理不额外消耗 credits。
waitFor选填
页面加载后额外等待 JavaScript 的时间,单位为毫秒。
timeout选填
每页超时时间,单位为毫秒,包含等待浏览器的排队时间。
location选填
object

输入示例

{
  "urls": [
    "https://example.com"
  ]
}

输出

通过带认证的结果分页获取全部已完成页面。完整输出上限为 12 MiB;超限会失败,不返回不完整的数据。