Scrape & extrahieren
Ziehe Markdown, HTML, JSON oder Text von jeder URL mit optionalem JS-Rendering
KI-Antworten
Web-basierte Antworten mit Quellen und strukturiertem Output
Batch & Crawl
Bis zu 10.000 URLs parallel oder autonom eine ganze Seite entdecken
Karte & Suche
Finde jede URL auf einer Seite oder führe parserbasierte Websuche durch
Bevor du anfängst
Du benötigst einen Olostep API-Schlüssel. Hol dir einen vom Olostep-Dashboard – die kostenlose Stufe deckt die persönliche Nutzung ab.Wähle einen Einrichtungsweg
Der schnellste Weg für jeden Client ist der gehostete Endpunkt unterhttps://mcp.olostep.com/mcp. Keine Installationen, kein Node, kein Docker – einfach eine URL und deinen API-Schlüssel einfügen.
Wenn du es vollständig lokal (Offline-Nutzung, Unternehmensproxy, luftdicht) ausführen musst, unterstützt jeder Client auch eine lokale stdio-Installation über npx. Jeder Abschnitt unten zeigt beides.
Gehosteter Endpunkt verwendet
Authorization: Bearer YOUR_API_KEY. Lokale stdio verwendet OLOSTEP_API_KEY als Umgebungsvariable. Verwechsle sie nicht – der falsche Auth-Modus ist der häufigste Onboarding-Fehler.Client-Einrichtung
- Cursor
- Claude Code
- Claude Desktop
- VS Code
- Windsurf
- Docker
- Metorial
Ein-Klick-Installation (empfohlen):
Ersetze
Erfordert Node.js 18+ auf deinem Rechner.Verifizieren: Öffne Cursor → Einstellungen → MCP. Du solltest
Ersetze YOUR_API_KEY in der resultierenden Konfiguration durch deinen echten Schlüssel.Manuelle Einrichtung:Erstelle oder bearbeite .cursor/mcp.json in deinem Projektverzeichnis (oder ~/.cursor/mcp.json für global):Lokale stdio-Installation (optional)
Lokale stdio-Installation (optional)
olostep mit 10 Tools einschließlich scrape_website sehen. Wenn du “Connected, 0 tools” siehst, ist dein API-Schlüssel falsch.Das richtige Tool auswählen
Der MCP-Server bietet 10 Tools. Verwende diesen Entscheidungsbaum, um das richtige auszuwählen – der Agent verwendet die gleiche Logik:| Du möchtest… | Verwende | Hinweise |
|---|---|---|
| Den Inhalt einer bestimmten Seite | scrape_website oder get_webpage_content | Setze wait_before_scraping=2000–5000 für SPAs |
| Eine natürliche Sprachantwort mit Quellen | answers | Gibt KI-Synthese + Zitate zurück |
| Suchergebnisse für eine Abfrage | search_web | Parser-basiert, nicht KI, strukturiert |
| Eine Liste von URLs auf einer Seite | create_map | Nur URL-Entdeckung – kein Scraping |
| URLs gefiltert nach Abfrage | get_website_urls | Nach Relevanz zu deiner search_query gerankt |
| Viele bekannte URLs auf einmal | batch_scrape_urls + get_batch_results | Asynchron – startet, dann abfragen |
| Eine ganze Seite oder Abschnitt | create_crawl + get_crawl_results | Asynchron – folgt Links von einer Start-URL |
Tool-Details
scrape_website
scrape_website
Extrahiere Inhalte von einer einzelnen URL. Unterstützt
markdown, html, json, text. Optional country für geo-targetierte Anfragen, wait_before_scraping (0–10000 ms) für JS-lastige Seiten und parser (z.B. @olostep/amazon-product) für strukturierte Extraktion.get_webpage_content
get_webpage_content
Leichte Markdown-Only-Version von
scrape_website. Verwende es, wenn du nur sauberes Markdown möchtest und keine Formatoptionen benötigst.search_web
search_web
Strukturierte (parser-basierte) Websuchergebnisse für eine Abfrage. Optional
country für lokalisierte Ergebnisse. Gibt JSON zurück, kein KI-Prosa.answers
answers
KI-gestützte Antwort auf eine
task mit Quellen und Zitaten. Übergebe ein json-Argument, um die Antwort in einer bestimmten Form zu erhalten – entweder ein JSON-Schema oder eine kurze natürliche Sprachbeschreibung.batch_scrape_urls
batch_scrape_urls
Asynchrones Scraping von 2–10k URLs, die du bereits hast. Gibt eine
batch_id zurück – dann get_batch_results aufrufen, um Inhalte abzurufen. Setze wait_for_completion_seconds (bis zu 900), wenn du einen einzigen blockierenden Aufruf anstelle von Abfragen möchtest. Empfohlen: 60 für Batches unter 50 URLs, 300–600 für 50–1k, 0 (separat abfragen) für größere Batches.get_batch_results
get_batch_results
Holt den Status und die gescrapten Inhalte für eine
batch_id. Gibt processing zurück, bis abgeschlossen, dann completed mit dem Items-Array.create_crawl
create_crawl
Asynchrones Crawling, das Links von einer
start_url folgt. Verwende include_url_patterns / exclude_url_patterns (Glob-Syntax wie /blog/**), um den Umfang festzulegen. Gibt eine crawl_id zurück – dann get_crawl_results aufrufen.get_crawl_results
get_crawl_results
Holt den Status und die Seiten für eine
crawl_id. Unterstützt Paginierung über cursor und items_limit (max. 100 pro Aufruf). Gibt in_progress zurück, bis abgeschlossen.create_map
create_map
Erhalte eine Liste von URLs auf einer Seite. Nur URL-Entdeckung – kein Scraping. Verwende es, wenn du Kandidaten-URLs anzeigen möchtest (z.B. den Benutzer eine Teilmenge auswählen lassen). Unterstützt
include_url_patterns / exclude_url_patterns und search_query.get_website_urls
get_website_urls
Wie
create_map, aber URLs werden nach Relevanz zu einer erforderlichen search_query gerankt. Verwende es, wenn du die Top-N passenden Links auf einer Seite möchtest.Fehlerbehebung
Server erscheint, zeigt aber 0 Tools
Server erscheint, zeigt aber 0 Tools
Dein API-Schlüssel ist ungültig oder rate-limitiert. Öffne das API-Schlüssel-Dashboard und überprüfe den Schlüssel. Wenn du den gehosteten Endpunkt verwendest, muss der Header genau
Authorization: Bearer sk_... sein – keine Anführungszeichen um den Wert, keine zusätzlichen Leerzeichen.`npx: command not found` oder `command not found: olostep-mcp`
`npx: command not found` oder `command not found: olostep-mcp`
Node.js ist nicht installiert (oder nicht in deinem PATH). Installiere Node 18+ von nodejs.org, dann starte dein Terminal und deinen MCP-Client neu. Unter Windows wechsle zu einem CMD/PowerShell, das Node im PATH hat.
Verbindung abgelehnt oder DNS-Fehler bei `mcp.olostep.com`
Verbindung abgelehnt oder DNS-Fehler bei `mcp.olostep.com`
Du befindest dich wahrscheinlich hinter einem Unternehmensproxy oder einer Firewall, die den Host blockiert. Wechsle zur lokalen stdio-Installation (
npx -y olostep-mcp) – sie stellt ausgehende Anfragen an api.olostep.com, was normalerweise erlaubt ist.Bearbeitete Konfiguration, aber die Tool-Liste ist veraltet
Bearbeitete Konfiguration, aber die Tool-Liste ist veraltet
Der Client hat die alte Konfiguration zwischengespeichert. Vollständig beenden und neu starten – nicht nur das Fenster schließen. Claude Desktop bleibt insbesondere in der Menüleiste/Systemleiste aktiv.
Windows-spezifische `npx`-Fehler
Windows-spezifische `npx`-Fehler
Wenn
npx beim Starten des Servers unter Windows Fehler ausgibt, verwende die CMD-umwickelte Form:`401 Missing Authorization: Bearer <OLOSTEP_API_KEY>`
`401 Missing Authorization: Bearer <OLOSTEP_API_KEY>`
Rezepte
Copy-Paste-Prompts, die gut mit den Tools funktionieren:- Eine Liste von Produkt-URLs scrapen: “Ich habe eine CSV mit 200 Amazon-Produkt-URLs. Scrape sie im Batch mit
parser=@olostep/amazon-productund gib sie als JSON zurück.” - Eine Dokumentationsseite crawlen: “Crawl https://stripe.com/docs mit
max_pages=50undinclude_url_patterns=['/docs/**']. Fasse jeden Abschnitt als Markdown zusammen.” - Wettbewerber finden: “Verwende
answers, um die Top 5 Wettbewerber von Notion für technische Dokumentationsseiten zu finden. Gib Name, Homepage und 1-Zeilen-Positionierung zurück.” - Karte erstellen und dann scrapen: “Führe
create_mapauf https://example.com gefiltert auf/blog/**aus, dannbatch_scrape_urlsauf den Top 20 Ergebnissen.”