Intégration Olostep + OpenClaw

Votre agent OpenClaw peut lire la documentation, mais il ne peut pas lire le web. Le plugin Olostep Web Agent corrige cela — recherchez, extrayez, explorez et récupérez des données structurées de n’importe quel site web, directement dans le flux de travail de votre agent. Une installation vous offre 13 compétences pour des tâches de haut niveau (déboguer une erreur à partir de fils StackOverflow en direct, écrire du code d’intégration à partir de la documentation actuelle, rechercher des outils avec des comparaisons structurées) et un serveur MCP à 9 outils pour un accès programmatique direct. Les SPAs lourds en JS, les CAPTCHAs, Cloudflare, les proxys résidentiels — gérés automatiquement.

Installation

clawhub install olostep

C’est tout. Si tu préfères configurer le serveur MCP manuellement, ajoute ceci à ta configuration OpenClaw :

{
  "mcpServers": {
    "olostep": {
      "command": "npx",
      "args": ["-y", "olostep-mcp"],
      "env": {
        "OLOSTEP_API_KEY": "your-api-key-here"
      }
    }
  }
}

Obtiens une clé API gratuite sur olostep.com/auth — 500 requêtes/mois, sans carte de crédit.

Compétences

Compétences de base en données

Ces six compétences sont les fondations. Chacune excelle dans une tâche précise, et ton agent peut les composer pour des flux de travail complexes.

scrape

N’importe quelle URL vers du markdown propre, HTML, JSON ou texte. Rendu complet du navigateur, contournement anti-bot, ciblage géographique, actions du navigateur (cliquer, faire défiler, taper), et analyseurs préconstruits pour les types de sites courants.

search

Trois modes : réponses synthétisées par IA avec citations, données brutes de SERP Google (résultats organiques, PAA, graphe de connaissances), et découverte d’URL à portée de domaine.

crawl

Commence à partir d’une URL, suit les liens, extrait chaque page découverte. Définit le nombre maximum de pages, inclut/exclut des motifs d’URL, et contrôle la profondeur d’exploration.

batch

Extrait jusqu’à 10 000 URLs en parallèle avec un rendu complet. Étiquette chaque URL avec custom_id pour mapper les résultats à tes sources.

map

Découvre chaque URL sur un site web sans les extraire. Filtre par motifs globaux, classe par pertinence de requête de recherche, limite avec top_n.

answers

Pose une question en langage clair, obtiens une réponse synthétisée par IA basée sur des sources web en direct. Passe un paramètre json pour obtenir une sortie structurée correspondant à tout schéma que tu définis.

Compétences de flux de travail

Ces sept compétences enchaînent plusieurs opérations de base ensemble. Elles gèrent la réflexion — ton agent choisit simplement la bonne compétence pour la tâche.

research

“Compare les 3 meilleurs ORM pour Node.js” — l’agent recherche plusieurs sources, extrait les pages de prix et de fonctionnalités, et retourne une comparaison structurée avec citations et une recommandation.

debug-error

Colle une trace de pile ou un message d’erreur. L’agent recherche les problèmes sur GitHub et StackOverflow pour cette erreur exacte, extrait les fils pertinents, et retourne une solution basée sur ce que les développeurs ayant rencontré le même problème ont réellement fait.

docs-to-code

Pointe vers une URL de documentation. L’agent extrait la référence API actuelle et écrit du code d’intégration fonctionnel à partir de ce qui est réellement publié — pas à partir de données de formation obsolètes qui peuvent référencer des méthodes dépréciées.

migrate-code

Donne-lui ta version actuelle et la version cible. L’agent extrait le guide de migration, extrait chaque changement majeur avec des motifs avant/après, et réécrit ton code pour correspondre.

extract-schema

Transforme n’importe quelle page web non structurée — listes de produits, offres d’emploi, articles — en JSON typé correspondant à une interface TypeScript, un schéma JSON, ou un modèle de base de données que tu fournis.

integrate

Détecte automatiquement ta pile (langage, framework, outil IA) et écrit une intégration complète du SDK Olostep : commandes d’installation, configuration du client, câblage de l’outil, et une étape de vérification.

setup

Configure la clé API Olostep et vérifie la connexion. Inclut le dépannage pour les problèmes d’installation courants.

Outils MCP

Le serveur MCP intégré (olostep-mcp) donne à ton agent 9 outils qu’il peut appeler directement. Utilise-les lorsque tu as besoin d’un contrôle précis au-delà de ce que les compétences de flux de travail fournissent.

Outil	Ce qu’il fait
`scrape_website`	Extrait une URL unique en markdown, HTML, JSON, ou texte
`get_webpage_content`	Récupère une page web en markdown propre, prêt pour LLM
`search_web`	Recherche sur le web en direct, obtient des réponses synthétisées par IA
`google_search`	Données structurées de SERP Google — résultats organiques, PAA, graphe de connaissances
`answers`	Pose une question, obtiens une réponse citée avec une sortie JSON structurée optionnelle
`batch_scrape_urls`	Extrait jusqu’à 10 000 URLs en parallèle avec un rendu complet
`create_crawl`	Explore un site web en suivant les liens à partir d’une URL de départ
`create_map`	Découvre toutes les URLs sur un site web, filtrables par motif et requête
`get_website_urls`	Trouve et récupère les URLs pertinentes d’un domaine spécifique

À quoi cela ressemble-t-il en pratique

”Pourquoi cela échoue-t-il ?” — Déboguer à partir du web en direct

Tu colles ECONNRESET lors de l'appel du point de terminaison webhook Stripe dans ton agent. Il recherche les problèmes sur GitHub et StackOverflow pour cette erreur exacte, extrait les trois fils les plus pertinents, et retourne une solution concrète — pas “vérifiez vos paramètres réseau”, mais la configuration de délai d’attente réelle qui l’a résolue pour d’autres développeurs rencontrant le même obstacle.

”Écris l’intégration” — Code à partir de la documentation actuelle, pas de données de formation obsolètes

Tu as besoin d’intégrer une API de paiement. La compétence docs-to-code extrait la référence API actuelle — celle publiée aujourd’hui, pas la version sur laquelle ton modèle a été formé il y a six mois — et écrit du code fonctionnel en utilisant les paramètres et points de terminaison qui existent réellement.

”Lequel devrais-je utiliser ?” — Comparaisons structurées d’outils

Évaluer des ORM ? Comparer des fournisseurs d’authentification ? La compétence research recherche plusieurs sources, extrait de vraies pages de prix et matrices de fonctionnalités, et retourne un tableau de comparaison structuré avec des citations. Tu obtiens une recommandation basée sur ce qui est réellement sur le site de chaque produit, pas sur la popularité des données de formation.

Construire un pipeline RAG à partir de n’importe quel site de documentation

map   → découvre chaque URL sur le site de documentation
batch → extrait toutes les pages en parallèle en markdown propre
      → alimente dans ton magasin de vecteurs

Deux compétences, un pipeline. Fonctionne sur les sites de documentation avec des centaines ou des milliers de pages.

Extraire des données structurées à grande échelle

map   → trouve toutes les URLs de produits, listes ou offres d'emploi
batch → extrait chaque page avec un analyseur préconstruit → JSON typé
      → transfère dans ta base de données, API, ou fichiers de semences

Migrer vers une nouvelle version de framework

Tu mets à jour Next.js de la version 13 à 15. La compétence migrate-code extrait le guide de migration officiel, extrait chaque changement majeur avec des motifs de code avant/après, et réécrit tes fichiers pour correspondre — basé sur la documentation réelle, pas sur la meilleure estimation du modèle.

Analyseurs préconstruits

Passe le paramètre parser à tout appel d’extraction et obtiens du JSON typé au lieu de contenu brut. Pas besoin de définir un schéma — ceux-ci gèrent l’extraction pour toi.

Analyseur	Renvoie
`@olostep/google-search`	Résultats organiques, graphe de connaissances, People Also Ask
`@olostep/amazon-it-product`	Prix, évaluation, fonctionnalités, disponibilité
`@olostep/extract-emails`	Chaque adresse e-mail trouvée sur la page
`@olostep/extract-calendars`	Événements de calendrier structurés
`@olostep/extract-socials`	Liens de profils de médias sociaux

Liens

Installer sur ClawHub

Liste des plugins, historique des versions, et installation en une commande

Obtenir une clé API

500 requêtes gratuites/mois, sans carte de crédit

Docs du serveur MCP

Configuration complète du serveur MCP pour Cursor, Claude Desktop, et d’autres clients

Référence API

Documentation complète des points de terminaison avec exemples

​Installation

​Compétences

​Compétences de base en données