网页内容提取
/web.scrape抓取网页,以干净的 Markdown、HTML 或原始 HTML 返回内容,并附上标题和元数据。
- 最近 7 天完成的调用
- 2
- 成功率
- 100.0%
- 执行耗时中位数
- 858ms
统计不包含取消的调用。执行时间仅统计成功调用。
通过你的 Agent 使用
请安装 https://www.agentrouter.to/SKILL.md,然后通过 AgentRouter 使用 AnyAPI 的 /web.scrape 接口。
输入参数
url必填- 要抓取页面的完整网址,包含域名,例如 https://example.com。https:// 前缀可省略。
mobile选填- 设为 true,使用移动端视口和用户代理渲染,而非桌面端。部分网站对移动端提供明显不同的内容。
formats选填- 要返回的页面格式,可任意组合:markdown(Markdown 格式内容)、html(浏览器接收的原始页面 HTML,包含 head 和 script 标签)。各格式放在对应输出字段下,默认同时返回。rawHtml 是 html 的已弃用别名,为兼容更名前的调用方会放在 rawHtml 字段下;请改传 html。
waitFor选填- 捕获前等待页面渲染完成的毫秒数。适用于大量使用 JavaScript 或首屏绘制后才加载内容的单页应用。上限为 15000,以避免请求超时。此等待由你要求执行,因此响应会相应变慢,但不会计入此接口公布的延迟。如果所有支持等待的服务商均失败,仍可能返回未等待即捕获的页面。
blockAds选填- 设为 true(上游默认)时,在捕获前移除广告和 Cookie 同意元素。设为 false 则保留。
excludeTags选填- 捕获前移除的 CSS 选择器(例如 ["nav", "footer", ".ads"])。在 includeTags 之后应用。
includeTags选填- 要保留的 CSS 选择器。设置后仅捕获匹配内容(例如 ["article", "main"] 或 ["#content"])。
requireFields选填- 可选;省略时保持原路由,由最便宜的数据源提供结果。 指定本次请求必须能够返回的字段,如 `statusCode`;只会使用能提供全部指定字段的数据源。 未指定的字段,只要当前数据源提供,也仍会返回。 这可能提高费用:若最便宜的数据源无法返回指定字段,会改用较贵的数据源,并按该来源的价格报价和计费。 若记录本身确实没有某个指定字段,该字段仍可能缺失。 若指定的字段组合无法由任何单一数据源同时提供,会作为无效输入拒绝且不计费。 若来源仅在部分情况下报告某个字段,例如仅在网站返回错误时提供,不视为能提供该字段。
onlyMainContent选填- 设为 true,仅返回主要文章内容,移除导航、页头、页脚和其他模板内容。默认为 false,捕获完整页面。
preferLatencyUnderMs选填- 可选;省略时保持原路由,由最便宜的数据源提供结果。优先选择典型响应时间低于指定毫秒数的数据源,再从中选择最便宜的一个;典型响应时间指该接口数据源健康信息公布的过去 30 天响应时间中位数。这可能提高费用:如果最便宜的数据源无法达到目标,会改用更快但更贵的数据源,并按该来源的价格报价和计费。若没有数据源满足速度目标,仍会选择性价比最高的数据源完成请求,不会仅因速度慢而拒绝。尚未计时的数据源最后尝试。这只是偏好,不是保证:中位数描述历史请求,不是本次请求的耗时上限,也不包括请求本身要求的等待时间。对分页查询,该偏好仅用于第一页;后续页继续使用第一页所选的数据源及其报价。
source选填- 可选。按优先顺序指定数据源 ID,取值来自 /catalog 或 /apis 中该接口的 `lanes[].source.id`。省略时使用最便宜的数据源,并支持自动故障切换。除非 `allowFallbacks` 为 false,否则先按给定顺序尝试列表中的来源,再尝试其他来源。仅指定一个来源且将 `allowFallbacks` 设为 false 时,只会由该来源按其价格提供结果,准确报价和计费,不会切换。报价取所有可能被使用的数据源中的最高价。不支持该接口的数据源 ID 会作为无效输入拒绝且不计费;列表中当前不可用的数据源也会被拒绝且不计费,省略 `source` 可改用其他来源。分页查询的后续请求必须继续包含第一页使用的数据源,或省略 `source`。
allowFallbacks选填- 可选,默认为 true。设为 false 时,只允许 `source` 中列出的来源提供结果;若没有来源能提供服务,则拒绝请求且不计费。设为 true 时先尝试列出的来源,之后可按正常价格尝试其他来源。
ignoreSources选填- 可选。指定本次请求要跳过的数据源 ID,取值来自该接口的 `lanes[].source.id`。使用剩余来源中最便宜的一个,报价则取剩余来源中的最高价。不支持该接口的数据源 ID,或同时出现在 `source` 中的 ID,都会作为无效输入拒绝且不计费;跳过全部来源也会以同样方式拒绝。
输入示例
{
"url": "https://example.com",
"formats": [
"markdown",
"html"
],
"onlyMainContent": false
}输出
AnyAPI 输出:found (布尔值), data (记录);未找到结果时包含 reason。