Kaarten

Via het Olostep /v1/maps endpoint kun je alle URL’s op een website verkrijgen. Dit is nuttig voor contentontdekking, analyse van de sitestructuur (bijv. SEO), of om te beslissen welke URL’s je vervolgens wilt scrapen.

Verkrijg alle URL’s op een website (inclusief sitemaps en ontdekte links)
Gebruik speciale patronen om paden in of uit te sluiten (bijv. /blog/**)
Pagineer grote reacties met cursor (tot 10MB per reactie)
Beperk volume met top_n

Voor API-details zie de Kaart Endpoint API Referentie.

Installatie

pip install olostep

npm install olostep

# curl is standaard beschikbaar op macOS, Linux en Windows

npm install node-fetch

pip install requests

Gebruik

Stuur een POST-verzoek met de website url. Optioneel kun je include_urls, exclude_urls (glob patronen), en top_n doorgeven.

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

sitemap = client.maps.create(url="https://docs.olostep.com")

for url in sitemap.urls():
    print(url)

import Olostep from 'olostep'

const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })

const map = await client.maps.create({ url: 'https://docs.olostep.com' })

for await (const url of map.urls()) {
  console.log(url)
}

curl -s -X POST "https://api.olostep.com/v1/maps" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://docs.olostep.com"
  }'

olostep map "https://docs.olostep.com"

const res = await fetch('https://api.olostep.com/v1/maps', {
  method: 'POST',
  headers: {
    'Authorization': 'Bearer <YOUR_API_KEY>',
    'Content-Type': 'application/json'
  },
  body: JSON.stringify({ url: 'https://docs.olostep.com' })
})
console.log(await res.json())

import requests
import json

endpoint = "https://api.olostep.com/v1/maps"

payload = {
    "url": "https://docs.olostep.com"
}
headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}

response = requests.post(endpoint, json=payload, headers=headers)
print(json.dumps(response.json(), indent=2))

De responstijd is meestal binnen enkele seconden, maar kan oplopen tot 120 seconden voor complexere websites. Het kan alle URL’s van een website extraheren, zelfs backlinks en die niet aanwezig in de Sitemaps. Je kunt ook beslissen welke URL-paden je wilt opnemen of uitsluiten van de reactie. Standaard retourneert het endpoint ongeveer 100k URL’s in één oproep (maximaal 10MB). Als de reactie meer data bevat, retourneert de API een cursor parameter die kan worden gebruikt voor paginering en het verkrijgen van de volgende URL’s. Voor meer details raadpleeg de API Referentie. Dit endpoint is bijzonder nuttig wanneer je:

Alle contentpagina’s op een website wilt ontdekken
De sitestructuur en hiërarchie wilt analyseren
URL’s wilt voorbereiden voor batchverwerking
Wilt beslissen welke specifieke URL’s je wilt scrapen

Voor meer gedetailleerde controle over de geretourneerde URL’s kun je de parameters include_urls en exclude_urls gebruiken.

Voorbeeld

Stel dat je van www.brex.com alle URL’s wilt extraheren die de paden na /product/ hebben, bijv. https://www.brex.com/product/api/no-code, maar ook www.brex.com/product wilt opnemen. Je kunt de volgende code gebruiken:

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

sitemap = client.maps.create(
    url="https://www.brex.com/",
    include_urls=["/product", "/product/**"],
    top_n=100000,
)

for url in sitemap.urls():
    print(url)

import Olostep from 'olostep'

const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })

const map = await client.maps.create({
  url: 'https://www.brex.com/',
  includeUrls: ['/product', '/product/**'],
  topN: 100000,
})

for await (const url of map.urls()) {
  console.log(url)
}

curl -s -X POST "https://api.olostep.com/v1/maps" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://www.brex.com/",
    "include_urls": ["/product", "/product/**"],
    "top_n": 100000
  }'

olostep map "https://www.brex.com/" \
  --include-url "/product" \
  --include-url "/product/**" \
  --top-n 100000

const endpoint = 'https://api.olostep.com/v1/maps'

const res = await fetch(endpoint, {
  method: 'POST',
  headers: {
    'Authorization': 'Bearer <YOUR_API_KEY>',
    'Content-Type': 'application/json'
  },
  body: JSON.stringify({
    url: 'https://www.brex.com/',
    include_urls: ['/product', '/product/**'],
    top_n: 100000
  })
})
console.log(await res.text())

import requests

endpoint = "https://api.olostep.com/v1/maps"

payload = {
    "url": "https://www.brex.com/",
    "include_urls": ["/product", "/product/**"],
    "top_n": 100000
}

headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}

response = requests.post(endpoint, json=payload, headers=headers)

print(response.text)

Conclusie

Het maps endpoint is een krachtig hulpmiddel voor contentontdekking en site-analyse. Het biedt een uitgebreide lijst van URL’s op een website, waarmee je content van specifieke pagina’s kunt extraheren of de sitestructuur kunt analyseren. Dit endpoint is bijzonder nuttig voor SEO-professionals, contentmarketeers, AI-agenten die website-inhoud of -structuur moeten analyseren.

Opslag

Opgeslagen bestanden voor een kaart worden standaard 7 dagen bewaard. Geef een storage object door bij POST /v1/maps om ze langer of voor onbepaalde tijd te bewaren. De instelling geldt voor het kaartresultaat en de pagina’s die tijdens het ontdekken van URL’s zijn gescrapet.

Parameter	Type	Standaard	Beschrijving
`storage.expires_in`	`string`	`7d`	Hoe lang de opgeslagen bestanden bewaard moeten blijven. Een van `7d`, `10d`, `30d`, `60d`, `90d`, `180d`, `365d`, of `never` (onbepaald).

Als storage wordt weggelaten, of storage zonder expires_in wordt verzonden, wordt 7d gebruikt. Zowel de create response als GET /v1/maps/{map_id} bevatten de waarde die van kracht is:

"storage": { "expires_in": "30d" }

cURL

curl -s -X POST "https://api.olostep.com/v1/maps" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com",
    "storage": { "expires_in": "30d" }
  }'

Een ongeldige waarde retourneert 400:

{
  "type": "invalid_request_error",
  "message": "Invalid storage.expires_in. Allowed values: \"7d\", \"10d\", \"30d\", \"60d\", \"90d\", \"180d\", \"365d\", \"never\".",
  "code": "invalid_storage_expires_in"
}

Prijzen

Een kaart kost 1 credit. Voor elke extra 1000 URL’s die in de reactie worden geretourneerd, wordt een extra credit in rekening gebracht.

Aan de slag

Functies

Saldo & Facturering

Installatie

Gebruik

Voorbeeld

Conclusie

Opslag

Prijzen

​Installatie

​Gebruik

​Voorbeeld

​Conclusie

​Opslag

​Prijzen

Installatie

Gebruik

Voorbeeld

Conclusie

Opslag

Prijzen