メインコンテンツへスキップ
GET
/
v1
/
crawls
/
{crawl_id}
/
pages
クロールされたページのリストを、コンテンツと共にオプションで取得
curl --request GET \
  --url https://api.olostep.com/v1/crawls/{crawl_id}/pages \
  --header 'Authorization: Bearer <token>'
{
  "crawl_id": "<string>",
  "object": "<string>",
  "status": "<string>",
  "search_query": "<string>",
  "pages_count": 123,
  "pages": [
    {
      "id": "<string>",
      "retrieve_id": "<string>",
      "url": "<string>",
      "is_external": true,
      "html_content": "<string>",
      "markdown_content": "<string>"
    }
  ],
  "metadata": {
    "external_urls": [
      "<string>"
    ],
    "failed_urls": [
      "<string>"
    ]
  },
  "cursor": 123
}

承認

Authorization
string
header
必須

Bearer認証ヘッダーの形式はBearer で、はあなたの認証トークンです。

パスパラメータ

crawl_id
string
必須

URLのリストを取得するためのクロールのID。

クエリパラメータ

cursor
integer

コンテンツの取得を開始するインデックスを表すオプションの整数。すべてのURLが取得されるまでページネーションに便利です。0から始め、前回のリクエストの response['cursor'] の値を提供します。

limit
integer

返される結果の数を制限するためのオプションの整数。1回に10〜50件の結果を推奨。cursor を使用してページネーション。1回のリクエストで最大10MBのコンテンツを取得できます。

search_query
string

結果を関連性でソートするためのオプションの検索クエリ。提供されている場合はデフォルトで元の search_query を使用します。

formats
enum<string>[]

非推奨: retrieve_id を使用して /retrieve エンドポイントを使用してください。 取得するフォーマットの配列(例: ["html", "markdown"])。

利用可能なオプション:
html,
markdown

レスポンス

URLのリストを含む成功したレスポンス。

crawl_id
string

クロールID

object
string

オブジェクトの種類。このエンドポイントでは "crawl"。

status
string

in_progress または completed

search_query
string
pages_count
number
pages
object[]
metadata
object
cursor
integer

次のリクエストで次のアイテムを取得するためにクエリに渡すもの。