跳转到主要内容
GET
获取已抓取页面列表,可选择包含内容

授权

Authorization
string
header
必填

Bearer认证头的格式为Bearer ,其中是你的认证令牌。

路径参数

crawl_id
string
必填

要获取 URL 列表的抓取 ID。

查询参数

cursor
integer

可选整数,表示开始获取内容的索引。用于分页,直到所有 URL 都被获取。以 0 开始,然后提供上次请求的 response['cursor'] 值。

limit
integer

可选整数,用于限制返回结果的数量。建议一次返回 10-50 个结果。使用 cursor 进行分页。单个请求最多可获取 10MB 的内容。

search_query
string

可选的搜索查询,用于按相关性排序结果。如果提供,默认使用原始 search_query。

formats
enum<string>[]

已弃用: 使用 /retrieve 端点和 retrieve_id。 要获取的格式数组(例如,["html", "markdown"])。

可用选项:
html,
markdown

响应

成功响应包含URL列表。

crawl_id
string

抓取 ID

object
string

对象的类型。此端点为 "crawl"。

status
string

in_progress 或 completed

search_query
string
pages_count
number
pages
object[]
metadata
object
cursor
integer

在下一个请求的查询中传递以获取下一个项目。