Scraper & extraire
Extraire du markdown, HTML, JSON ou texte de n’importe quelle URL avec rendu JS optionnel
Réponses AI
Réponses basées sur le web avec sources et sortie structurée
Lot & crawl
Jusqu’à 100k URLs en parallèle, ou découvrir un site entier de manière autonome
Cartographier & rechercher
Trouver chaque URL sur un site, ou effectuer une recherche web basée sur un parseur
Avant de commencer
Tu as besoin d’une clé API Olostep. Obtiens-en une depuis le tableau de bord Olostep — le niveau gratuit couvre l’utilisation personnelle.Choisir un chemin de configuration
Le chemin le plus rapide pour chaque client est le point de terminaison hébergé àhttps://mcp.olostep.com/mcp. Pas d’installation, pas de Node, pas de Docker — il suffit de coller une URL et ta clé API.
Si tu as besoin qu’il fonctionne entièrement en local (utilisation hors ligne, proxy d’entreprise, air-gapped), chaque client prend également en charge une installation stdio locale via npx. Chaque section ci-dessous montre les deux.
Point de terminaison hébergé utilise
Authorization: Bearer YOUR_API_KEY. Stdio local utilise OLOSTEP_API_KEY comme variable d’environnement. Ne les mélange pas — le mauvais mode d’authentification est l’erreur d’intégration numéro 1.Configuration du client
- Cursor
- Claude Code
- Claude Desktop
- VS Code
- Windsurf
- Docker
- Metorial
Installation en un clic (recommandée) :
Remplace
Nécessite Node.js 18+ sur ta machine.Vérification : Ouvre Cursor → Paramètres → MCP. Tu devrais voir
Remplace YOUR_API_KEY dans la configuration résultante par ta vraie clé.Configuration manuelle :Crée ou modifie .cursor/mcp.json à la racine de ton projet (ou ~/.cursor/mcp.json pour global) :Installation stdio locale (optionnelle)
Installation stdio locale (optionnelle)
olostep listé avec 10 outils incluant scrape_website. Si tu vois “Connecté, 0 outils”, ta clé API est incorrecte.Choisir le bon outil
Le serveur MCP expose 10 outils. Utilise cet arbre de décision pour choisir le bon — l’agent utilise le même raisonnement :Détails des outils
scrape_website
scrape_website
Extraire le contenu d’une seule URL. Prend en charge
markdown, html, json, text. country optionnel pour les requêtes géo-ciblées, wait_before_scraping (0–10000 ms) pour les sites lourds en JS, et parser (par exemple @olostep/amazon-product) pour l’extraction structurée.get_webpage_content
get_webpage_content
Version légère en markdown uniquement de
scrape_website. À utiliser lorsque tu veux juste du markdown propre et que tu n’as pas besoin d’options de format.search_web
search_web
Résultats de recherche web structurés (basés sur un parseur) pour une requête.
country optionnel pour des résultats localisés. Retourne du JSON, pas de la prose AI.answers
answers
Réponse alimentée par AI à une
task avec sources et citations. Passe un argument json pour obtenir la réponse dans une forme spécifique — soit un schéma JSON, soit une courte description en langage naturel.batch_scrape_urls
batch_scrape_urls
Scraping asynchrone de 2 à 100k URLs que tu as déjà. Retourne un
batch_id — puis appelle get_batch_results pour récupérer le contenu. Défini wait_for_completion_seconds (jusqu’à 900) si tu veux un seul appel bloquant au lieu de l’interrogation. Recommandé : 60 pour les lots de moins de 50 URLs, 300–600 pour 50–1k, 0 (interroger séparément) pour les lots plus importants.get_batch_results
get_batch_results
Récupère le statut et le contenu extrait pour un
batch_id. Retourne processing jusqu’à ce que ce soit terminé, puis completed avec le tableau d’éléments.create_crawl
create_crawl
Crawl asynchrone qui suit les liens à partir d’une
start_url. Utilise include_url_patterns / exclude_url_patterns (syntaxe glob comme /blog/**) pour délimiter. Retourne un crawl_id — puis appelle get_crawl_results.get_crawl_results
get_crawl_results
Récupère le statut et les pages pour un
crawl_id. Prend en charge la pagination via cursor et items_limit (max 100 par appel). Retourne in_progress jusqu’à ce que ce soit terminé.create_map
create_map
Obtiens une liste d’URLs sur un site. Découverte d’URL uniquement — ne scrape pas. À utiliser lorsque tu veux faire apparaître des URLs candidates (par exemple, laisser l’utilisateur choisir un sous-ensemble). Prend en charge
include_url_patterns / exclude_url_patterns et search_query.get_website_urls
get_website_urls
Comme
create_map, mais les URLs sont classées par pertinence par rapport à une search_query requise. À utiliser lorsque tu veux les N premiers liens correspondants sur un site.Dépannage
Le serveur apparaît mais affiche 0 outils
Le serveur apparaît mais affiche 0 outils
Ta clé API est invalide ou limitée par le taux. Ouvre le tableau de bord des clés API et vérifie la clé. Si tu utilises le point de terminaison hébergé, l’en-tête doit être exactement
Authorization: Bearer sk_... — pas de guillemets autour de la valeur, pas d’espaces supplémentaires.npx: command not found ou command not found: olostep-mcp
npx: command not found ou command not found: olostep-mcp
Node.js n’est pas installé (ou pas dans ton PATH). Installe Node 18+ depuis nodejs.org, puis redémarre ton terminal et ton client MCP. Sur Windows, passe à un CMD/PowerShell qui a Node dans le PATH.
Connexion refusée ou erreurs DNS sur mcp.olostep.com
Connexion refusée ou erreurs DNS sur mcp.olostep.com
Tu es probablement derrière un proxy d’entreprise ou un pare-feu bloquant l’hôte. Passe à l’installation stdio locale (
npx -y olostep-mcp) — elle effectue des requêtes sortantes vers api.olostep.com à la place, ce qui est généralement autorisé.Configuration modifiée mais la liste d'outils est obsolète
Configuration modifiée mais la liste d'outils est obsolète
Le client a mis en cache l’ancienne configuration. Quitte complètement et relance — ne te contente pas de fermer la fenêtre. Claude Desktop en particulier continue de fonctionner dans la barre de menu / la barre système.
Échecs spécifiques à Windows avec npx
Échecs spécifiques à Windows avec npx
Si
npx échoue à lancer le serveur sur Windows, utilise la forme enveloppée par CMD :Recettes
Des invites à copier-coller qui fonctionnent bien avec les outils :- Scraper une liste d’URLs de produits : “J’ai un CSV de 200 URLs de produits Amazon. Scrape-les par lot avec
parser=@olostep/amazon-productet retourne-les en JSON.” - Crawling d’un site de docs : “Crawl https://stripe.com/docs avec
max_pages=50etinclude_url_patterns=['/docs/**']. Résume chaque section en markdown.” - Trouver des concurrents : “Utilise
answerspour trouver les 5 principaux concurrents de Notion pour les sites de documentation technique. Retourne le nom, la page d’accueil et un positionnement en une ligne.” - Cartographier puis scraper : “Exécute
create_mapsur https://example.com filtré à/blog/**, puisbatch_scrape_urlssur les 20 meilleurs résultats.”