Olostep + OpenClaw Integratie

Je OpenClaw-agent kan documentatie lezen, maar het kan niet het web lezen. De Olostep Web Agent plugin lost dat op — zoek, schraap, kruip en extraheer gestructureerde gegevens van elke website, direct binnen je agentworkflow. Eén installatie geeft je 13 vaardigheden voor taken op hoog niveau (debug een fout uit live StackOverflow threads, schrijf integratiecode vanuit de huidige documentatie, onderzoek tools met gestructureerde vergelijkingen) en een 9-tool MCP-server voor directe programmatische toegang. JS-zware SPA’s, CAPTCHA’s, Cloudflare, residentiële proxy’s — automatisch afgehandeld.

Installatie

clawhub install olostep

Dat is alles. Als je de MCP-server handmatig wilt aansluiten, voeg dit toe aan je OpenClaw-configuratie:

{
  "mcpServers": {
    "olostep": {
      "command": "npx",
      "args": ["-y", "olostep-mcp"],
      "env": {
        "OLOSTEP_API_KEY": "your-api-key-here"
      }
    }
  }
}

Verkrijg een gratis API-sleutel op olostep.com/auth — 500 verzoeken/maand, geen creditcard nodig.

Vaardigheden

Kerngegevensvaardigheden

Deze zes vaardigheden zijn de bouwstenen. Elk doet één ding goed, en je agent kan ze samenstellen voor complexe workflows.

scrape

Elke URL naar schone markdown, HTML, JSON of tekst. Volledige browserweergave, anti-bot omzeiling, geo-targeting, browseracties (klikken, scrollen, typen), en vooraf gebouwde parsers voor veelvoorkomende sitetypes.

search

Drie modi: AI-gesynthetiseerde antwoorden met citaties, ruwe Google SERP-gegevens (organische resultaten, PAA, kennisgrafiek), en domeingebonden URL-ontdekking.

crawl

Begin vanaf één URL, volg links, schraap elke ontdekte pagina. Stel maximaal aantal pagina’s in, sluit URL-patronen in/uit, en beheer de kruipdiepte.

batch

Schraap tot 10.000 URL’s parallel met volledige weergave. Label elke URL met custom_id om resultaten terug te koppelen naar je bronnen.

map

Ontdek elke URL op een website zonder ze te schrapen. Filter op glob-patronen, rangschik op relevantie van zoekopdrachten, beperk met top_n.

answers

Stel een vraag in gewone taal, krijg een AI-gesynthetiseerd antwoord gebaseerd op live webbronnen. Geef een json parameter door om gestructureerde output te krijgen die overeenkomt met elk schema dat je definieert.

Workflowvaardigheden

Deze zeven vaardigheden schakelen meerdere kernoperaties aan elkaar. Ze doen het denkwerk — je agent kiest gewoon de juiste vaardigheid voor de taak.

research

“Vergelijk de top 3 ORM’s voor Node.js” — de agent zoekt meerdere bronnen, schraapt prijs- en functiepagina’s, en geeft een gestructureerde vergelijking met citaties en een aanbeveling.

debug-error

Plak een stack trace of foutmelding. De agent zoekt GitHub-issues en StackOverflow voor die exacte fout, schraapt de relevante threads, en geeft een oplossing gebaseerd op wat ontwikkelaars die hetzelfde probleem tegenkwamen daadwerkelijk deden.

docs-to-code

Wijs naar een documentatie-URL. De agent schraapt de huidige API-referentie en schrijft werkende integratiecode vanuit wat daadwerkelijk gepubliceerd is — niet vanuit verouderde trainingsgegevens die mogelijk verouderde methoden refereren.

migrate-code

Geef je huidige versie en doelversie. De agent schraapt de migratiehandleiding, extraheert elke breaking change met voor/na patronen, en herschrijft je code om te passen.

extract-schema

Zet elke ongestructureerde webpagina — productlijsten, vacatures, artikelen — om in getypte JSON die overeenkomt met een TypeScript-interface, JSON-schema of databasemodel dat je levert.

integrate

Detecteert automatisch je stack (taal, framework, AI-toolkit) en schrijft een complete Olostep SDK-integratie: installatiecommando’s, clientconfiguratie, toolbedrading, en een verificatiestap.

setup

Configureer de Olostep API-sleutel en verifieer de verbinding. Inclusief probleemoplossing voor veelvoorkomende installatieproblemen.

MCP Tools

De meegeleverde MCP-server (olostep-mcp) geeft je agent 9 tools die het direct kan aanroepen. Gebruik deze wanneer je fijnmazige controle nodig hebt buiten wat de workflowvaardigheden bieden.

Tool	Wat het doet
`scrape_website`	Schraap een enkele URL naar markdown, HTML, JSON of tekst
`get_webpage_content`	Haal een webpagina op als schone, LLM-klaar markdown
`search_web`	Zoek op het live web, krijg AI-gesynthetiseerde antwoorden
`google_search`	Gestructureerde Google SERP-gegevens — organische resultaten, PAA, kennisgrafiek
`answers`	Stel een vraag, krijg een beantwoord antwoord met optionele gestructureerde JSON-output
`batch_scrape_urls`	Schraap tot 10.000 URL’s parallel met volledige weergave
`create_crawl`	Kruip een website door links te volgen vanaf een start-URL
`create_map`	Ontdek alle URL’s op een website, filterbaar op patroon en query
`get_website_urls`	Vind en haal relevante URL’s op van een specifiek domein

Hoe Dit Er In De Praktijk Uitziet

”Waarom faalt dit?” — Debug vanaf het live web

Je plakt ECONNRESET bij het aanroepen van Stripe webhook endpoint in je agent. Het zoekt GitHub-issues en StackOverflow voor die exacte fout, schraapt de drie meest relevante threads, en geeft een concrete oplossing — niet “controleer je netwerkinstellingen,” maar de daadwerkelijke time-outconfiguratie die het oploste voor andere ontwikkelaars die tegen dezelfde muur aanliepen.

”Schrijf de integratie” — Code vanuit actuele documentatie, niet verouderde trainingsgegevens

Je moet een betalings-API integreren. De docs-to-code vaardigheid schraapt de huidige API-referentie — degene die vandaag is gepubliceerd, niet de versie waarop je model zes maanden geleden is getraind — en schrijft werkende code met de parameters en eindpunten die daadwerkelijk bestaan.

”Welke moet ik gebruiken?” — Gestructureerde toolvergelijkingen

Beoordeel je ORM’s? Vergelijk je authenticatieproviders? De research vaardigheid zoekt meerdere bronnen, schraapt echte prijspagina’s en functiematrices, en geeft een gestructureerde vergelijkingstabel met citaties. Je krijgt een aanbeveling ondersteund door wat er daadwerkelijk op de website van elk product staat, niet door de populariteit in trainingsgegevens.

Bouw een RAG-pijplijn van elke documentatiesite

map   → ontdek elke URL op de documentatiesite
batch → schraap alle pagina's parallel als schone markdown
      → voer in je vector store

Twee vaardigheden, één pijplijn. Werkt op documentatiesites met honderden of duizenden pagina’s.

Extraheer gestructureerde gegevens op schaal

map   → vind alle product-, lijst- of vacature-URL's
batch → schraap elke pagina met een vooraf gebouwde parser → getypte JSON
      → voer in je database, API, of seed-bestanden

Migreer naar een nieuwe frameworkversie

Je upgrade Next.js 13 naar 15. De migrate-code vaardigheid schraapt de officiële migratiehandleiding, extraheert elke breaking change met voor/na codepatronen, en herschrijft je bestanden om te passen — gebaseerd op de echte documentatie, niet op de beste gok van het model.

Vooraf Gebouwde Parsers

Geef de parser parameter door aan elke schraapoproep en krijg getypte JSON terug in plaats van ruwe inhoud. Geen schemadefinitie nodig — deze verzorgen de extractie voor je.

Parser	Geeft terug
`@olostep/google-search`	Organische resultaten, kennisgrafiek, People Also Ask
`@olostep/amazon-it-product`	Prijs, beoordeling, functies, beschikbaarheid
`@olostep/extract-emails`	Elk e-mailadres gevonden op de pagina
`@olostep/extract-calendars`	Gestructureerde kalendergebeurtenissen
`@olostep/extract-socials`	Links naar sociale mediaprofielen

Installeer op ClawHub

Pluginlijst, versiegeschiedenis, en installatie met één commando

Verkrijg API-sleutel

500 gratis verzoeken/maand, geen creditcard nodig

MCP Server Docs

Volledige MCP-serverinstelling voor Cursor, Claude Desktop, en andere clients

API Referentie

Complete eindpuntdocumentatie met voorbeelden

Documentation Index

​Installatie

​Vaardigheden

​Kerngegevensvaardigheden