Scrape & extract
Haal markdown, HTML, JSON of tekst op van elke URL met optionele JS-rendering
AI answers
Web-gebaseerde antwoorden met bronnen en gestructureerde output
Batch & crawl
Tot 10k URL’s parallel, of ontdek autonoom een hele site
Map & search
Vind elke URL op een site, of voer parser-gebaseerd webzoeken uit
Voordat je begint
Je hebt een Olostep API-sleutel nodig. Verkrijg er een via het Olostep dashboard — de gratis versie dekt persoonlijk gebruik.Kies een installatiepad
Het snelste pad voor elke client is de gehoste endpoint ophttps://mcp.olostep.com/mcp. Geen installaties, geen Node, geen Docker — plak gewoon een URL en je API-sleutel.
Als je het volledig lokaal wilt laten draaien (offline gebruik, bedrijfsproxy, air-gapped), ondersteunt elke client ook een lokale stdio installatie via npx. Elke sectie hieronder toont beide.
Gehoste endpoint gebruikt
Authorization: Bearer YOUR_API_KEY. Lokale stdio gebruikt OLOSTEP_API_KEY als een omgevingsvariabele. Verwissel ze niet — verkeerde auth-modus is de #1 onboarding fout.Client installatie
- Cursor
- Claude Code
- Claude Desktop
- VS Code
- Windsurf
- Docker
- Metorial
Een-klik installatie (aanbevolen):
Vervang
Vereist Node.js 18+ op je machine.Verifiëren: Open Cursor → Instellingen → MCP. Je zou
Vervang YOUR_API_KEY in de resulterende configuratie door je echte sleutel.Handmatige installatie:Maak of bewerk .cursor/mcp.json in de hoofdmap van je project (of ~/.cursor/mcp.json voor globaal):Lokale stdio installatie (optioneel)
Lokale stdio installatie (optioneel)
olostep moeten zien met 10 tools inclusief scrape_website. Als je “Connected, 0 tools” ziet, is je API-sleutel verkeerd.Het juiste hulpmiddel kiezen
De MCP-server biedt 10 tools. Gebruik deze beslisboom om de juiste te kiezen — de agent gebruikt dezelfde redenering:| Je wilt… | Gebruik | Opmerkingen |
|---|---|---|
| De inhoud van een specifieke pagina | scrape_website of get_webpage_content | Stel wait_before_scraping=2000–5000 in voor SPA’s |
| Een webantwoord in natuurlijke taal met bronnen | answers | Geeft AI-synthese + citaten |
| Zoekresultaten voor een query | search_web | Parser-gebaseerd, niet-AI, gestructureerd |
| Een lijst van URL’s op een site | create_map | Alleen URL-ontdekking — scrapt NIET |
| URL’s gefilterd op query | get_website_urls | Gerangschikt op relevantie voor je search_query |
| Veel bekende URL’s tegelijk | batch_scrape_urls + get_batch_results | Async — start, dan pollen |
| Een hele site of sectie | create_crawl + get_crawl_results | Async — volgt links vanaf een start-URL |
Tooldetails
scrape_website
scrape_website
Haal inhoud op van een enkele URL. Ondersteunt
markdown, html, json, text. Optioneel country voor geografisch gerichte verzoeken, wait_before_scraping (0–10000 ms) voor JS-zware sites, en parser (bijv. @olostep/amazon-product) voor gestructureerde extractie.get_webpage_content
get_webpage_content
Lichte markdown-only versie van
scrape_website. Gebruik wanneer je alleen schone markdown wilt en geen opmaakopties nodig hebt.search_web
search_web
Gestructureerde (parser-gebaseerde) webzoekresultaten voor een query. Optioneel
country voor gelokaliseerde resultaten. Geeft JSON, geen AI-proza.answers
answers
AI-gestuurd antwoord op een
task met bronnen en citaten. Geef een json argument door om het antwoord in een specifieke vorm te krijgen — ofwel een JSON-schema of een korte natuurlijke-taalbeschrijving.batch_scrape_urls
batch_scrape_urls
Async scrape van 2–10k URL’s die je al hebt. Geeft een
batch_id — roep dan get_batch_results aan om inhoud op te halen. Stel wait_for_completion_seconds in (tot 900) als je een enkele blokkerende oproep wilt in plaats van pollen. Aanbevolen: 60 voor batches onder 50 URL’s, 300–600 voor 50–1k, 0 (apart pollen) voor grotere batches.get_batch_results
get_batch_results
Haalt de status en gescrapete inhoud op voor een
batch_id. Geeft processing totdat het klaar is, dan completed met de items-array.create_crawl
create_crawl
Async crawl die links volgt vanaf een
start_url. Gebruik include_url_patterns / exclude_url_patterns (glob-syntaxis zoals /blog/**) om te beperken. Geeft een crawl_id — roep dan get_crawl_results aan.get_crawl_results
get_crawl_results
Haalt de status en pagina’s op voor een
crawl_id. Ondersteunt paginering via cursor en items_limit (max 100 per oproep). Geeft in_progress totdat het klaar is.create_map
create_map
Krijg een lijst van URL’s op een site. Alleen URL-ontdekking — scrapt niet. Gebruik wanneer je kandidaat-URL’s wilt tonen (bijv. laat de gebruiker een subset kiezen). Ondersteunt
include_url_patterns / exclude_url_patterns en search_query.get_website_urls
get_website_urls
Net als
create_map, maar URL’s worden gerangschikt op relevantie voor een vereiste search_query. Gebruik wanneer je de top N overeenkomende links op een site wilt.Problemen oplossen
Server verschijnt maar toont 0 tools
Server verschijnt maar toont 0 tools
Je API-sleutel is ongeldig of beperkt. Open het API-sleuteldashboard en controleer de sleutel. Als je de gehoste endpoint gebruikt, moet de header exact zijn
Authorization: Bearer sk_... — geen aanhalingstekens rond de waarde, geen extra spaties.`npx: command not found` of `command not found: olostep-mcp`
`npx: command not found` of `command not found: olostep-mcp`
Node.js is niet geïnstalleerd (of niet in je PATH). Installeer Node 18+ van nodejs.org, herstart dan je terminal en je MCP-client. Op Windows, schakel over naar een CMD/PowerShell die Node op de PATH heeft.
Verbinding geweigerd of DNS-fouten op `mcp.olostep.com`
Verbinding geweigerd of DNS-fouten op `mcp.olostep.com`
Je zit waarschijnlijk achter een bedrijfsproxy of firewall die de host blokkeert. Schakel over naar de lokale stdio-installatie (
npx -y olostep-mcp) — deze maakt uitgaande verzoeken naar api.olostep.com in plaats daarvan, wat meestal is toegestaan.Bewerkte configuratie maar de toolslijst is verouderd
Bewerkte configuratie maar de toolslijst is verouderd
De client heeft de oude configuratie in de cache opgeslagen. Volledig afsluiten en opnieuw starten — niet alleen het venster sluiten. Claude Desktop blijft met name actief in de menubalk / systeemvak.
Windows-specifieke `npx` fouten
Windows-specifieke `npx` fouten
Als
npx fouten geeft bij het starten van de server op Windows, gebruik de CMD-omsloten vorm:`401 Missing Authorization: Bearer <OLOSTEP_API_KEY>`
`401 Missing Authorization: Bearer <OLOSTEP_API_KEY>`
Recepten
Kopieer-plak prompts die goed werken met de tools:- Scrape een lijst van product-URL’s: “Ik heb een CSV van 200 Amazon-product-URL’s. Batch scrape ze met
parser=@olostep/amazon-producten retourneer als JSON.” - Crawl een documentatiesite: “Crawl https://stripe.com/docs met
max_pages=50eninclude_url_patterns=['/docs/**']. Vat elke sectie samen als markdown.” - Vind concurrenten: “Gebruik
answersom de top 5 concurrenten van Notion voor technische documentatiesites te vinden. Retourneer naam, homepage en 1-regel positionering.” - Map dan scrape: “Voer
create_mapuit op https://example.com gefilterd naar/blog/**, danbatch_scrape_urlsop de top 20 resultaten.”