メインコンテンツへスキップ
持っているものと欲しいものから始めましょう。すべてのエンドポイントはベースURL https://api.olostep.com とヘッダー Authorization: Bearer <YOUR_API_KEY> を使用します(認証を参照)。

目的別

よくある決定

  • Scrape vs. Crawl: 正確なURLがわかっている場合はscrapeを使用。1つのサイトから多くのページを取得したいが、それらを自分でリストしたくない場合はcrawlを使用。
  • Map vs. Crawl: mapはURLのみを返し、速いです。最初にページを選択するために使用し、その後それらだけをscrapeまたはbatchします。
  • Crawl vs. Batch: crawlはリンクをたどってページを発見します。batchは既に持っているURLのリストを使用し、一度に数千まで処理します。
  • Search vs. Answers: searchはあなた(またはあなたのエージェント)が読むためのリンクを返します。answersはページを読み、出典付きの単一の回答を返します。
  • Parsers vs. LLM extraction: サイトに対して存在するパーサーを使用します。それは速く、毎回同じフィールドを返します。それ以外の場合はLLM extractionを使用します。

非同期エンドポイント

Crawlsとbatchesはバックグラウンドで実行されます。それぞれすぐにidを返します。GET /v1/crawls/{id}またはGET /v1/batches/{id}をポーリングし、statusがcompletedになるまで待ち、結果を取得します。statusがfailedの場合はポーリングを停止します。crawlは0ページでcompletedとして終了することもあり(pages_countを確認)、batchは一部の失敗したアイテムでcompletedとして終了することもあります(?status=failedでリスト)。各機能ページには完全なフローが示されています。

Olostepを呼び出す他の方法