Naar hoofdinhoud gaan
De Olostep MCP-server biedt elke MCP-compatibele AI-client (Claude, Cursor, Windsurf, VS Code, Claude Code, etc.) 10 kant-en-klare tools voor het live web — scraping, zoeken, AI-antwoorden met citaten, batchtaken, sitecrawlen en URL-ontdekking.

Scrape & extract

Haal markdown, HTML, JSON of tekst op van elke URL met optionele JS-rendering

AI answers

Web-gebaseerde antwoorden met bronnen en gestructureerde output

Batch & crawl

Tot 10k URL’s parallel, of ontdek autonoom een hele site

Map & search

Vind elke URL op een site, of voer parser-gebaseerd webzoeken uit

Voordat je begint

Je hebt een Olostep API-sleutel nodig. Verkrijg er een via het Olostep dashboard — de gratis versie dekt persoonlijk gebruik.

Kies een installatiepad

Het snelste pad voor elke client is de gehoste endpoint op https://mcp.olostep.com/mcp. Geen installaties, geen Node, geen Docker — plak gewoon een URL en je API-sleutel. Als je het volledig lokaal wilt laten draaien (offline gebruik, bedrijfsproxy, air-gapped), ondersteunt elke client ook een lokale stdio installatie via npx. Elke sectie hieronder toont beide.
Gehoste endpoint gebruikt Authorization: Bearer YOUR_API_KEY. Lokale stdio gebruikt OLOSTEP_API_KEY als een omgevingsvariabele. Verwissel ze niet — verkeerde auth-modus is de #1 onboarding fout.

Client installatie

Een-klik installatie (aanbevolen):Voeg Olostep MCP-server toe aan CursorVervang YOUR_API_KEY in de resulterende configuratie door je echte sleutel.Handmatige installatie:Maak of bewerk .cursor/mcp.json in de hoofdmap van je project (of ~/.cursor/mcp.json voor globaal):
{
  "mcpServers": {
    "olostep": {
      "url": "https://mcp.olostep.com/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY"
      }
    }
  }
}
{
  "mcpServers": {
    "olostep": {
      "command": "npx",
      "args": ["-y", "olostep-mcp"],
      "env": {
        "OLOSTEP_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}
Vereist Node.js 18+ op je machine.
Verifiëren: Open Cursor → Instellingen → MCP. Je zou olostep moeten zien met 10 tools inclusief scrape_website. Als je “Connected, 0 tools” ziet, is je API-sleutel verkeerd.

Het juiste hulpmiddel kiezen

De MCP-server biedt 10 tools. Gebruik deze beslisboom om de juiste te kiezen — de agent gebruikt dezelfde redenering:
Je wilt…GebruikOpmerkingen
De inhoud van een specifieke paginascrape_website of get_webpage_contentStel wait_before_scraping=2000–5000 in voor SPA’s
Een webantwoord in natuurlijke taal met bronnenanswersGeeft AI-synthese + citaten
Zoekresultaten voor een querysearch_webParser-gebaseerd, niet-AI, gestructureerd
Een lijst van URL’s op een sitecreate_mapAlleen URL-ontdekking — scrapt NIET
URL’s gefilterd op queryget_website_urlsGerangschikt op relevantie voor je search_query
Veel bekende URL’s tegelijkbatch_scrape_urls + get_batch_resultsAsync — start, dan pollen
Een hele site of sectiecreate_crawl + get_crawl_resultsAsync — volgt links vanaf een start-URL
Een hele site scrapen? Gebruik create_crawl, niet batch_scrape_urls. Crawl ontdekt EN scrapt. Batch is voor een bekende lijst van URL’s die je al hebt.

Tooldetails

Haal inhoud op van een enkele URL. Ondersteunt markdown, html, json, text. Optioneel country voor geografisch gerichte verzoeken, wait_before_scraping (0–10000 ms) voor JS-zware sites, en parser (bijv. @olostep/amazon-product) voor gestructureerde extractie.
Lichte markdown-only versie van scrape_website. Gebruik wanneer je alleen schone markdown wilt en geen opmaakopties nodig hebt.
Gestructureerde (parser-gebaseerde) webzoekresultaten voor een query. Optioneel country voor gelokaliseerde resultaten. Geeft JSON, geen AI-proza.
AI-gestuurd antwoord op een task met bronnen en citaten. Geef een json argument door om het antwoord in een specifieke vorm te krijgen — ofwel een JSON-schema of een korte natuurlijke-taalbeschrijving.
Async scrape van 2–10k URL’s die je al hebt. Geeft een batch_id — roep dan get_batch_results aan om inhoud op te halen. Stel wait_for_completion_seconds in (tot 900) als je een enkele blokkerende oproep wilt in plaats van pollen. Aanbevolen: 60 voor batches onder 50 URL’s, 300–600 voor 50–1k, 0 (apart pollen) voor grotere batches.
Haalt de status en gescrapete inhoud op voor een batch_id. Geeft processing totdat het klaar is, dan completed met de items-array.
Async crawl die links volgt vanaf een start_url. Gebruik include_url_patterns / exclude_url_patterns (glob-syntaxis zoals /blog/**) om te beperken. Geeft een crawl_id — roep dan get_crawl_results aan.
Haalt de status en pagina’s op voor een crawl_id. Ondersteunt paginering via cursor en items_limit (max 100 per oproep). Geeft in_progress totdat het klaar is.
Krijg een lijst van URL’s op een site. Alleen URL-ontdekking — scrapt niet. Gebruik wanneer je kandidaat-URL’s wilt tonen (bijv. laat de gebruiker een subset kiezen). Ondersteunt include_url_patterns / exclude_url_patterns en search_query.
Net als create_map, maar URL’s worden gerangschikt op relevantie voor een vereiste search_query. Gebruik wanneer je de top N overeenkomende links op een site wilt.

Problemen oplossen

Je API-sleutel is ongeldig of beperkt. Open het API-sleuteldashboard en controleer de sleutel. Als je de gehoste endpoint gebruikt, moet de header exact zijn Authorization: Bearer sk_... — geen aanhalingstekens rond de waarde, geen extra spaties.
Node.js is niet geïnstalleerd (of niet in je PATH). Installeer Node 18+ van nodejs.org, herstart dan je terminal en je MCP-client. Op Windows, schakel over naar een CMD/PowerShell die Node op de PATH heeft.
Je zit waarschijnlijk achter een bedrijfsproxy of firewall die de host blokkeert. Schakel over naar de lokale stdio-installatie (npx -y olostep-mcp) — deze maakt uitgaande verzoeken naar api.olostep.com in plaats daarvan, wat meestal is toegestaan.
De client heeft de oude configuratie in de cache opgeslagen. Volledig afsluiten en opnieuw starten — niet alleen het venster sluiten. Claude Desktop blijft met name actief in de menubalk / systeemvak.
Als npx fouten geeft bij het starten van de server op Windows, gebruik de CMD-omsloten vorm:
{
  "command": "cmd",
  "args": ["/c", "npx", "-y", "olostep-mcp"],
  "env": { "OLOSTEP_API_KEY": "YOUR_API_KEY" }
}
Je hebt de gehoste endpoint geraakt zonder een auth-header (of met het verkeerde formaat). Voeg de header toe aan je clientconfiguratie precies zoals getoond in het installatie-tabblad.

Recepten

Kopieer-plak prompts die goed werken met de tools:
  • Scrape een lijst van product-URL’s: “Ik heb een CSV van 200 Amazon-product-URL’s. Batch scrape ze met parser=@olostep/amazon-product en retourneer als JSON.”
  • Crawl een documentatiesite: “Crawl https://stripe.com/docs met max_pages=50 en include_url_patterns=['/docs/**']. Vat elke sectie samen als markdown.”
  • Vind concurrenten: “Gebruik answers om de top 5 concurrenten van Notion voor technische documentatiesites te vinden. Retourneer naam, homepage en 1-regel positionering.”
  • Map dan scrape: “Voer create_map uit op https://example.com gefilterd naar /blog/**, dan batch_scrape_urls op de top 20 resultaten.”

Bron & versies