Naar hoofdinhoud gaan
De Olostep MCP-server biedt elke MCP-compatibele AI-client (Claude, Cursor, Windsurf, VS Code, Claude Code, etc.) 10 gebruiksklare tools voor het live web — scraping, zoeken, AI-antwoorden met citaties, batchtaken, sitecrawlen en URL-ontdekking.

Scrapen & extraheren

Haal markdown, HTML, JSON of tekst op van elke URL met optionele JS-rendering

AI-antwoorden

Web-gebaseerde antwoorden met bronnen en gestructureerde output

Batch & crawl

Tot 100k URL’s parallel, of autonoom een hele site ontdekken

Kaart & zoek

Vind elke URL op een site, of voer parser-gebaseerd webzoeken uit

Voordat je begint

Je hebt een Olostep API-sleutel nodig. Haal er een van het Olostep dashboard — de gratis laag dekt persoonlijk gebruik.

Kies een installatiepad

Het snelste pad voor elke client is de gehoste eindpunt op https://mcp.olostep.com/mcp. Geen installaties, geen Node, geen Docker — plak gewoon een URL en je API-sleutel. Als je het volledig lokaal moet laten draaien (offline gebruik, bedrijfsproxy, air-gapped), ondersteunt elke client ook een lokale stdio installatie via npx. Elke sectie hieronder toont beide.
Gehoste eindpunt gebruikt Authorization: Bearer YOUR_API_KEY. Lokale stdio gebruikt OLOSTEP_API_KEY als een omgevingsvariabele. Verwissel ze niet — verkeerde auth-modus is de #1 onboarding fout.

Client installatie

Een-klik installatie (aanbevolen):Voeg Olostep MCP-server toe aan CursorVervang YOUR_API_KEY in de resulterende configuratie door je echte sleutel.Handmatige installatie:Maak of bewerk .cursor/mcp.json in de hoofdmap van je project (of ~/.cursor/mcp.json voor globaal):
Vereist Node.js 18+ op je machine.
Verifieer: Open Cursor → Instellingen → MCP. Je zou olostep moeten zien met 10 tools inclusief scrape_website. Als je “Verbonden, 0 tools” ziet, is je API-sleutel onjuist.

Het juiste hulpmiddel kiezen

De MCP-server biedt 10 tools aan. Gebruik deze beslisboom om het juiste hulpmiddel te kiezen — de agent gebruikt dezelfde redenering:
Een hele site scrapen? Gebruik create_crawl, niet batch_scrape_urls. Crawl ontdekt EN scrapt. Batch is voor een bekende lijst van URL’s die je al hebt.

Tool details

Haal inhoud op van een enkele URL. Ondersteunt markdown, html, json, text. Optioneel country voor geo-gerichte verzoeken, wait_before_scraping (0–10000 ms) voor JS-zware sites, en parser (bijv. @olostep/amazon-product) voor gestructureerde extractie.
Lichte markdown-only versie van scrape_website. Gebruik wanneer je alleen schone markdown wilt en geen opmaakopties nodig hebt.
Gestructureerde (parser-gebaseerde) webzoekresultaten voor een query. Optioneel country voor gelokaliseerde resultaten. Geeft JSON terug, geen AI-proza.
AI-gestuurd antwoord op een task met bronnen en citaties. Geef een json argument door om het antwoord in een specifieke vorm te krijgen — ofwel een JSON-schema of een korte natuurlijke-taalbeschrijving.
Async scrape van 2–100k URL’s die je al hebt. Geeft een batch_id terug — roep vervolgens get_batch_results aan om inhoud op te halen. Stel wait_for_completion_seconds in (tot 900) als je een enkele blokkerende oproep wilt in plaats van polling. Aanbevolen: 60 voor batches onder 50 URL’s, 300–600 voor 50–1k, 0 (apart poll) voor grotere batches.
Haalt de status en gescrapete inhoud op voor een batch_id. Geeft processing terug totdat het klaar is, dan completed met de items-array.
Async crawl die links volgt vanaf een start_url. Gebruik include_url_patterns / exclude_url_patterns (glob-syntaxis zoals /blog/**) om te scopen. Geeft een crawl_id terug — roep vervolgens get_crawl_results aan.
Haalt de status en pagina’s op voor een crawl_id. Ondersteunt paginering via cursor en items_limit (max 100 per oproep). Geeft in_progress terug totdat het klaar is.
Krijg een lijst van URL’s op een site. Alleen URL-ontdekking — scrapt niet. Gebruik wanneer je kandidaat-URL’s wilt tonen (bijv. laat de gebruiker een subset kiezen). Ondersteunt include_url_patterns / exclude_url_patterns en search_query.
Zoals create_map, maar URL’s worden gerangschikt op relevantie voor een vereiste search_query. Gebruik wanneer je de top N overeenkomende links op een site wilt.

Problemen oplossen

Je API-sleutel is ongeldig of beperkt. Open het API-sleuteldashboard en verifieer de sleutel. Als je het gehoste eindpunt gebruikt, moet de header exact Authorization: Bearer sk_... zijn — geen aanhalingstekens rond de waarde, geen extra spaties.
Node.js is niet geïnstalleerd (of niet in je PATH). Installeer Node 18+ van nodejs.org, herstart dan je terminal en je MCP-client. Op Windows, schakel naar een CMD/PowerShell die Node op de PATH heeft.
Je zit waarschijnlijk achter een bedrijfsproxy of firewall die de host blokkeert. Schakel over naar de lokale stdio-installatie (npx -y olostep-mcp) — het maakt uitgaande verzoeken naar api.olostep.com in plaats daarvan, wat meestal is toegestaan.
De client heeft de oude configuratie in cache. Volledig afsluiten en opnieuw starten — niet alleen het venster sluiten. Claude Desktop blijft met name draaien in de menubalk / systeemvak.
Als npx fouten geeft bij het starten van de server op Windows, gebruik de CMD-ingewikkelde vorm:
Je hebt het gehoste eindpunt geraakt zonder een auth-header (of met het verkeerde formaat). Voeg de header toe aan je clientconfiguratie precies zoals getoond in het installatie-tabblad.

Recepten

Kopieer-plak prompts die goed werken met de tools:
  • Scrape een lijst van product-URL’s: “Ik heb een CSV van 200 Amazon product-URL’s. Batch scrape ze met parser=@olostep/amazon-product en retourneer als JSON.”
  • Crawl een documentatiesite: “Crawl https://stripe.com/docs met max_pages=50 en include_url_patterns=['/docs/**']. Vat elke sectie samen als markdown.”
  • Vind concurrenten: “Gebruik answers om de top 5 concurrenten van Notion voor technische documentsites te vinden. Geef naam, homepage en 1-regel positionering terug.”
  • Kaart dan scrape: “Voer create_map uit op https://example.com gefilterd naar /blog/**, dan batch_scrape_urls op de top 20 resultaten.”

Bron & versies