Use this file to discover all available pages before exploring further.
Via de Olostep /v1/maps endpoint kun je alle URL’s op een website verkrijgen. Dit is nuttig voor contentontdekking, analyse van de sitestructuur (bijv. SEO), of om te beslissen welke URL’s je vervolgens wilt scrapen.
Verkrijg alle URL’s op een website (inclusief sitemaps en ontdekte links)
Gebruik speciale patronen om paden in of uit te sluiten (bijv. /blog/**)
Pagineer grote reacties met cursor (tot 10MB per reactie)
Stuur een POST-verzoek met de website url. Optioneel kun je include_urls, exclude_urls (glob patronen), en top_n doorgeven.
from olostep import Olostepclient = Olostep(api_key="YOUR_REAL_KEY")sitemap = client.maps.create(url="https://docs.olostep.com")for url in sitemap.urls(): print(url)
De responstijd is meestal binnen enkele seconden, maar kan oplopen tot 120 seconden voor complexere websites. Het kan alle URL’s van een website extraheren, zelfs backlinks en die niet in de Sitemaps aanwezig zijn. Je kunt ook beslissen welke URL-paden je wilt opnemen of uitsluiten van de reactie.Standaard retourneert de endpoint ongeveer 100k URL’s in één oproep (maximaal 10MB). Als de reactie meer gegevens bevat, retourneert de API een cursor parameter die kan worden gebruikt voor paginering en het verkrijgen van de volgende URL’s. Voor meer details raadpleeg de API ReferenceDeze endpoint is bijzonder nuttig wanneer je:
Alle contentpagina’s op een website wilt ontdekken
De sitestructuur en hiërarchie wilt analyseren
URL’s wilt voorbereiden voor batchverwerking
Wilt beslissen welke specifieke URL’s je wilt scrapen
Voor meer gedetailleerde controle over de geretourneerde URL’s kun je de parameters include_urls en exclude_urls gebruiken.
Stel dat je van www.brex.com alle URL’s wilt extraheren die de paden na /product/ hebben, bijv. https://www.brex.com/product/api/no-code, maar ook www.brex.com/product wilt opnemen.
Je kunt de volgende code gebruiken:
from olostep import Olostepclient = Olostep(api_key="YOUR_REAL_KEY")sitemap = client.maps.create( url="https://www.brex.com/", include_urls=["/product", "/product/**"], top_n=100000,)for url in sitemap.urls(): print(url)
De maps endpoint is een krachtig hulpmiddel voor contentontdekking en site-analyse. Het biedt een uitgebreide lijst van URL’s op een website, waarmee je content van specifieke pagina’s kunt extraheren of de sitestructuur kunt analyseren. Deze endpoint is bijzonder nuttig voor SEO-professionals, contentmarketeers, AI-agenten die website-inhoud of -structuur moeten analyseren.
