Naar hoofdinhoud gaan
GET
/
v1
/
crawls
/
{crawl_id}
/
pages
Haal lijst van gecrawlde pagina's op, optioneel met inhoud
curl --request GET \
  --url https://api.olostep.com/v1/crawls/{crawl_id}/pages \
  --header 'Authorization: Bearer <token>'
{
  "crawl_id": "<string>",
  "object": "<string>",
  "status": "<string>",
  "search_query": "<string>",
  "pages_count": 123,
  "pages": [
    {
      "id": "<string>",
      "retrieve_id": "<string>",
      "url": "<string>",
      "is_external": true,
      "html_content": "<string>",
      "markdown_content": "<string>"
    }
  ],
  "metadata": {
    "external_urls": [
      "<string>"
    ],
    "failed_urls": [
      "<string>"
    ]
  },
  "cursor": 123
}

Autorisaties

​
Authorization
string
header
vereist

Bearer authenticatie header in de vorm van Bearer , waarbij jouw auth token is.

Padparameters

​
crawl_id
string
vereist

De ID van de crawl waarvoor je de lijst van URLs wilt ophalen.

Queryparameters

​
cursor
integer

Optioneel geheel getal dat de index vertegenwoordigt om inhoud vanaf te halen. Handig om te pagineren totdat alle URLs zijn opgehaald. Begin met 0, geef dan de response['cursor'] waarde van de laatste aanvraag.

​
limit
integer

Optioneel geheel getal om het aantal geretourneerde resultaten te beperken. Aanbevolen 10-50 resultaten per keer. Gepagineerd met behulp van cursor. Maximaal 10MB aan inhoud kan in één aanvraag worden opgehaald.

​
search_query
string

Een optionele zoekopdracht om de resultaten op relevantie te sorteren. Gebruikt standaard de originele search_query als deze is opgegeven.

​
formats
enum<string>[]

Verouderd: Gebruik /retrieve endpoint met retrieve_id. Array van formaten om op te halen (bijv. ["html", "markdown"]).

Beschikbare opties:
html,
markdown

Respons

Succesvolle respons met de lijst van URLs.

​
crawl_id
string

Crawl ID

​
object
string

Het soort object. "crawl" voor dit endpoint.

​
status
string

in_progress of completed

​
search_query
string
​
pages_count
number
​
pages
object[]
​
metadata
object
​
cursor
integer

Moet in de query worden doorgegeven in de volgende aanvraag om de volgende items te krijgen.