跳转到主要内容
从你拥有的东西和你想要的结果开始。每个端点都使用基础 URL https://api.olostep.com 和头部 Authorization: Bearer <YOUR_API_KEY>(参见身份验证)。

根据目标

常见决策

  • Scrape vs. Crawl: 当你知道确切的 URL 时使用 scrape。当你想要从一个网站获取多个页面而不想自己列出它们时使用 crawl。
  • Map vs. Crawl: map 仅返回 URL 并且速度快。先用它选择页面,然后只 scrape 或 batch 这些页面。
  • Crawl vs. Batch: crawl 通过跟随链接发现页面。batch 接受你已有的 URL 列表,一次最多可达数千个。
  • Search vs. Answers: search 返回链接供你(或你的代理)阅读。answers 为你阅读页面并返回带有引用的单一答案。
  • Parsers vs. LLM extraction: 当网站有现成的解析器时使用解析器。它更快并且每次返回相同的字段。对于其他情况,使用 LLM extraction。

异步端点

Crawls 和 batches 在后台运行。每个都会立即返回一个 id。轮询 GET /v1/crawls/{id} 或 GET /v1/batches/{id} 直到 status 为 completed,然后获取结果。如果 status 为 failed,则停止轮询。crawl 仍然可以以 0 页结束为 completed(检查 pages_count),而 batch 可以以某些项目失败结束为 completed(用 ?status=failed 列出它们)。每个功能页面显示完整流程。

调用 Olostep 的其他方式