Passer au contenu principal
Le serveur MCP Olostep offre à tout client AI compatible MCP (Claude, Cursor, Windsurf, VS Code, Claude Code, etc.) 10 outils prêts à l’emploi pour le web en direct — scraping, recherche, réponses AI avec citations, tâches par lots, crawling de site et découverte d’URL.

Scraper & extraire

Extraire du markdown, HTML, JSON ou texte de n’importe quelle URL avec rendu JS optionnel

Réponses AI

Réponses basées sur le web avec sources et sortie structurée

Lot & crawl

Jusqu’à 100k URLs en parallèle, ou découvrir un site entier de manière autonome

Cartographier & rechercher

Trouver chaque URL sur un site, ou effectuer une recherche web basée sur un parseur

Avant de commencer

Tu as besoin d’une clé API Olostep. Obtiens-en une depuis le tableau de bord Olostep — le niveau gratuit couvre l’utilisation personnelle.

Choisir un chemin de configuration

Le chemin le plus rapide pour chaque client est le point de terminaison hébergé à https://mcp.olostep.com/mcp. Pas d’installation, pas de Node, pas de Docker — il suffit de coller une URL et ta clé API. Si tu as besoin qu’il fonctionne entièrement en local (utilisation hors ligne, proxy d’entreprise, air-gapped), chaque client prend également en charge une installation stdio locale via npx. Chaque section ci-dessous montre les deux.
Point de terminaison hébergé utilise Authorization: Bearer YOUR_API_KEY. Stdio local utilise OLOSTEP_API_KEY comme variable d’environnement. Ne les mélange pas — le mauvais mode d’authentification est l’erreur d’intégration numéro 1.

Configuration du client

Installation en un clic (recommandée) :Ajouter le serveur MCP Olostep à CursorRemplace YOUR_API_KEY dans la configuration résultante par ta vraie clé.Configuration manuelle :Crée ou modifie .cursor/mcp.json à la racine de ton projet (ou ~/.cursor/mcp.json pour global) :
Nécessite Node.js 18+ sur ta machine.
Vérification : Ouvre Cursor → Paramètres → MCP. Tu devrais voir olostep listé avec 10 outils incluant scrape_website. Si tu vois “Connecté, 0 outils”, ta clé API est incorrecte.

Choisir le bon outil

Le serveur MCP expose 10 outils. Utilise cet arbre de décision pour choisir le bon — l’agent utilise le même raisonnement :
Scraping d’un site entier ? Utilise create_crawl, pas batch_scrape_urls. Crawl découvre ET scrape. Batch est pour une liste connue d’URLs que tu as déjà.

Détails des outils

Extraire le contenu d’une seule URL. Prend en charge markdown, html, json, text. country optionnel pour les requêtes géo-ciblées, wait_before_scraping (0–10000 ms) pour les sites lourds en JS, et parser (par exemple @olostep/amazon-product) pour l’extraction structurée.
Version légère en markdown uniquement de scrape_website. À utiliser lorsque tu veux juste du markdown propre et que tu n’as pas besoin d’options de format.
Résultats de recherche web structurés (basés sur un parseur) pour une requête. country optionnel pour des résultats localisés. Retourne du JSON, pas de la prose AI.
Réponse alimentée par AI à une task avec sources et citations. Passe un argument json pour obtenir la réponse dans une forme spécifique — soit un schéma JSON, soit une courte description en langage naturel.
Scraping asynchrone de 2 à 100k URLs que tu as déjà. Retourne un batch_id — puis appelle get_batch_results pour récupérer le contenu. Défini wait_for_completion_seconds (jusqu’à 900) si tu veux un seul appel bloquant au lieu de l’interrogation. Recommandé : 60 pour les lots de moins de 50 URLs, 300–600 pour 50–1k, 0 (interroger séparément) pour les lots plus importants.
Récupère le statut et le contenu extrait pour un batch_id. Retourne processing jusqu’à ce que ce soit terminé, puis completed avec le tableau d’éléments.
Crawl asynchrone qui suit les liens à partir d’une start_url. Utilise include_url_patterns / exclude_url_patterns (syntaxe glob comme /blog/**) pour délimiter. Retourne un crawl_id — puis appelle get_crawl_results.
Récupère le statut et les pages pour un crawl_id. Prend en charge la pagination via cursor et items_limit (max 100 par appel). Retourne in_progress jusqu’à ce que ce soit terminé.
Obtiens une liste d’URLs sur un site. Découverte d’URL uniquement — ne scrape pas. À utiliser lorsque tu veux faire apparaître des URLs candidates (par exemple, laisser l’utilisateur choisir un sous-ensemble). Prend en charge include_url_patterns / exclude_url_patterns et search_query.
Comme create_map, mais les URLs sont classées par pertinence par rapport à une search_query requise. À utiliser lorsque tu veux les N premiers liens correspondants sur un site.

Dépannage

Ta clé API est invalide ou limitée par le taux. Ouvre le tableau de bord des clés API et vérifie la clé. Si tu utilises le point de terminaison hébergé, l’en-tête doit être exactement Authorization: Bearer sk_... — pas de guillemets autour de la valeur, pas d’espaces supplémentaires.
Node.js n’est pas installé (ou pas dans ton PATH). Installe Node 18+ depuis nodejs.org, puis redémarre ton terminal et ton client MCP. Sur Windows, passe à un CMD/PowerShell qui a Node dans le PATH.
Tu es probablement derrière un proxy d’entreprise ou un pare-feu bloquant l’hôte. Passe à l’installation stdio locale (npx -y olostep-mcp) — elle effectue des requêtes sortantes vers api.olostep.com à la place, ce qui est généralement autorisé.
Le client a mis en cache l’ancienne configuration. Quitte complètement et relance — ne te contente pas de fermer la fenêtre. Claude Desktop en particulier continue de fonctionner dans la barre de menu / la barre système.
Si npx échoue à lancer le serveur sur Windows, utilise la forme enveloppée par CMD :
Tu as atteint le point de terminaison hébergé sans en-tête d’authentification (ou avec le mauvais format). Ajoute l’en-tête à la configuration de ton client exactement comme indiqué dans l’onglet de configuration.

Recettes

Des invites à copier-coller qui fonctionnent bien avec les outils :
  • Scraper une liste d’URLs de produits : “J’ai un CSV de 200 URLs de produits Amazon. Scrape-les par lot avec parser=@olostep/amazon-product et retourne-les en JSON.”
  • Crawling d’un site de docs : “Crawl https://stripe.com/docs avec max_pages=50 et include_url_patterns=['/docs/**']. Résume chaque section en markdown.”
  • Trouver des concurrents : “Utilise answers pour trouver les 5 principaux concurrents de Notion pour les sites de documentation technique. Retourne le nom, la page d’accueil et un positionnement en une ligne.”
  • Cartographier puis scraper : “Exécute create_map sur https://example.com filtré à /blog/**, puis batch_scrape_urls sur les 20 meilleurs résultats.”

Source & versions