Naar hoofdinhoud gaan
GET
/
v1
/
crawls
/
{crawl_id}
/
pages
Haal lijst van gecrawlde pagina's op, optioneel met inhoud
curl --request GET \
  --url https://api.olostep.com/v1/crawls/{crawl_id}/pages \
  --header 'Authorization: Bearer <token>'
{
  "crawl_id": "<string>",
  "object": "<string>",
  "status": "<string>",
  "search_query": "<string>",
  "pages_count": 123,
  "pages": [
    {
      "id": "<string>",
      "retrieve_id": "<string>",
      "url": "<string>",
      "is_external": true,
      "html_content": "<string>",
      "markdown_content": "<string>"
    }
  ],
  "metadata": {
    "external_urls": [
      "<string>"
    ],
    "failed_urls": [
      "<string>"
    ]
  },
  "cursor": 123
}

Autorisaties

​
Authorization
string
header
vereist

Bearer authenticatie header in de vorm Bearer , waarbij jouw auth token is.

Padparameters

​
crawl_id
string
vereist

De ID van de crawl waarvoor je de lijst van URLs wilt ophalen.

Queryparameters

​
cursor
integer

Optionele integer die de index vertegenwoordigt om te beginnen met het ophalen van inhoud. Handig om te pagineren totdat alle URLs zijn opgehaald. Begin met 0, en geef dan de waarde van response['cursor'] van het laatste verzoek.

​
limit
integer

Optionele integer om het aantal geretourneerde resultaten te beperken. Aanbevolen 10-50 resultaten per keer. Gepagineerd met behulp van cursor. Maximaal 10MB aan inhoud kan in één verzoek worden opgehaald.

​
search_query
string

Een optionele zoekopdracht om de resultaten op relevantie te sorteren. Gebruikt standaard de originele search_query als deze is opgegeven.

​
formats
enum<string>[]

Verouderd: Gebruik de /retrieve endpoint met retrieve_id. Array van formaten om op te halen (bijv. ["html", "markdown"]).

Beschikbare opties:
html,
markdown

Respons

Succesvolle reactie met de lijst van URLs.

​
crawl_id
string

Crawl ID

​
object
string

Het soort object. "crawl" voor deze endpoint.

​
status
string

in_progress of completed

​
search_query
string
​
pages_count
number
​
pages
object[]
​
metadata
object
​
cursor
integer

Moet in de query worden doorgegeven in de volgende aanvraag om de volgende items te krijgen.