Intégration Olostep + Apify

Olostep est une API de recherche web, de scraping et de crawling — une API pour rechercher, extraire et structurer les données web. Ce guide montre comment utiliser Olostep avec les Acteurs Apify pour construire des pipelines de données web fiables de bout en bout.

Ce que tu peux construire

Scraper un site web

Extraire le contenu de n’importe quelle URL unique en Markdown, HTML, JSON ou Texte

Scraper des URLs en lot

Traiter de grandes listes d’URLs en parallèle avec des sorties structurées

Créer un crawl

Découvrir et scraper les pages liées pour construire des ensembles de données complets

Créer une carte

Extraire toutes les URLs d’un site web (découverte type sitemap)

Réponses alimentées par l'IA

Poser des questions et obtenir des réponses JSON structurées avec des sources

Démarrage rapide

1) Installer Apify CLI

npm install -g apify-cli
apify --version

2) Obtenir ta clé API Olostep

Depuis le tableau de bord Olostep → Clés API.

3) Exécuter l’Acteur Olostep localement

cd olostep-tools/integrations/apify
apify run

Le fichier d’entrée local par défaut se trouve à : olostep-tools/integrations/apify/storage/key_value_stores/default/INPUT.json Exemple d’entrée :

{
  "operation": "scrape",
  "apiKey": "YOUR_OLostep_API_KEY",
  "url_to_scrape": "https://example.com",
  "formats": "markdown"
}

4) Déployer sur Apify (cloud)

apify login
apify push

Ensuite, ouvre la console Apify → Acteurs → exécute l’acteur avec l’entrée souhaitée.

Exécution dans la console Apify (étape par étape)

Ouvre ton Acteur dans la console Apify → Source → Entrée.
Dans l’onglet Manuel, tu verras un champ visible “Clé API Olostep”. Colle ta clé depuis le tableau de bord Olostep.
Choisis une opération (par défaut “scrape”).
Remplis les champs pertinents (pour “scrape”, définis “URL à scraper”).
Clique sur Enregistrer → Démarrer.
Lorsque l’exécution est terminée, ouvre l’onglet Ensemble de données pour télécharger les résultats (JSON/CSV/Excel).

Notes :

Pour “URL à scraper”, tu peux coller avec ou sans schéma. Si manquant, l’acteur préfixe automatiquement https://.
Si un site est lourd en JavaScript et que tu vois un délai d’attente, définis “Attendre avant le scraping” à 2000–5000 ms et réexécute.

Opérations disponibles

Scraper un site web

Extraire le contenu d’une URL unique. Idéal pour l’automatisation au niveau de la page.

constant

défaut:"scrape"

Doit être “scrape”

string

requis

Ta clé API Olostep (Bearer)

string

requis

L’URL à scraper (doit inclure http:// ou https://)

dropdown

défaut:"markdown"

Un de : Markdown, HTML, JSON, Texte

string

Code pays optionnel (par ex., “US”, “GB”, “CA”)

integer

Temps d’attente optionnel en ms pour le rendu JavaScript (0–10000)

string

ID de parseur optionnel (par ex., “@olostep/amazon-product”)

Champs de sortie :

id, url, statut, formats
markdown_content / html_content / json_content / text_content
URLs hébergées (si disponibles), métadonnées de la page

Scraper des URLs en lot

Traiter de nombreuses URLs à la fois avec un formatage et une structure cohérents.

constant

défaut:"batch"

Doit être “batch”

string

requis

Ta clé API Olostep

text

requis

Tableau JSON d’objets avec url et custom_id optionnel
Exemple : [{"url":"https://example.com","custom_id":"site1"}]

dropdown

défaut:"markdown"

Un de : Markdown, HTML, JSON, Texte

string

Code pays optionnel

integer

Temps d’attente optionnel en ms pour les sites JS

string

ID de parseur optionnel

Champs de sortie :

batch_id, statut, total_urls, created_at, formats, country, parser, urls[]

Créer un crawl

Suivre les liens et scraper plusieurs pages à partir d’une URL de départ.

constant

défaut:"crawl"

Doit être “crawl”

string

requis

Ta clé API Olostep

string

requis

URL de départ pour le crawl

integer

défaut:"10"

Nombre maximal de pages à crawler. Définir à 1 pour scraper uniquement l’URL de départ.

dropdown

défaut:"markdown"

Un de : Markdown, HTML, JSON, Texte

string

Code pays optionnel

string

ID de parseur optionnel

Champs de sortie :

crawl_id, objet, statut, start_url, max_pages, créé, formats

Créer une carte

Découvrir toutes les URLs sur un site web et préparer pour un scraping en lot ultérieur.

constant

défaut:"map"

Doit être “map”

string

requis

Ta clé API Olostep

string

requis

Le site web à cartographier

string

Filtre de requête optionnel

integer

Limiter le nombre d’URLs

string

Inclure des glob(s), par ex. “/products/**”

string

Exclure des glob(s), par ex. “/admin/**”

Champs de sortie :

map_id, objet, website_url, total_urls, urls[], search_query, top_n

Exemples JSON à copier-coller (Console → Entrée → JSON)

Scraper

{
  "operation": "scrape",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "url_to_scrape": "https://www.wikipedia.org",
  "formats": "markdown",
  "wait_before_scraping": 2000
}

Lot

{
  "operation": "batch",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "batch_array": "[{\"url\":\"https://example.com\",\"custom_id\":\"site1\"},{\"url\":\"https://olostep.com\",\"custom_id\":\"site2\"}]",
  "formats": "json"
}

Crawl

{
  "operation": "crawl",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "start_url": "https://docs.example.com",
  "max_pages": 50,
  "formats": "markdown"
}

Carte

{
  "operation": "map",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "website_url": "https://example.com",
  "include_patterns": "/blog/**",
  "top_n": 200
}

Réponses

{
  "operation": "answers",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "task": "What is the latest funding round of Olostep? Provide company, round, date, amount.",
  "json": "{\"company\":\"\",\"round\":\"\",\"date\":\"\",\"amount\":\"\"}"
}

Exemples de flux de travail

Découvrir et scraper des produits

Créer une carte → inclure “/products/**”
Analyser les URLs → construire un tableau de lot
Scraper des URLs en lot → formats : JSON
Envoyer à Google Sheets / Airtable

Surveillance quotidienne de contenu

Programmer l’acteur (quotidiennement)
Scraper un site web → formats : Markdown
Résumer avec LLM
Notifier sur Slack

Base de connaissances des concurrents

Créer un crawl (blog/docs)
Stocker les sorties dans Notion
Rafraîchir chaque semaine avec un programme

Parseurs spécialisés

Olostep prend en charge les parseurs pour structurer les données pour les sites populaires.

Produit Amazon

@olostep/amazon-product → titre, prix, évaluation, avis, images, variantes

Recherche Google

@olostep/google-search → résultats, titres, extraits, URLs

Google Maps

@olostep/google-maps → infos entreprise, avis, évaluations, emplacement

Plus de parseurs

Explorer les extracteurs d’emails, les chercheurs de comptes sociaux, les extracteurs de liens de calendrier, et plus

Bonnes pratiques

Préférer le lot pour 3+ URLs

Plus rapide, moins cher, plus facile à surveiller et respecte les limites de taux.

Utiliser des temps d'attente appropriés

Sites lourds en JS : augmenter wait_before_scraping (par ex., 2000–5000ms).

Filtrer avant le scraping

Éviter les tâches inutiles — vérifier les changements d’abord, maintenir l’état de déduplication.

Stocker le contenu volumineux via des URLs hébergées

Utiliser des sorties hébergées pour contourner les limites de taille de charge utile dans les flux Apify.

Traiter les opérations asynchrones comme longues

Batch/Crawl/Map renvoient des IDs ; récupérer plus tard ou chaîner avec un délai.

Gérer proprement les délais d'attente transitoires

Si tu vois un 504 ou un délai d’attente transitoire, l’acteur réessaie automatiquement une fois avec un court temps d’attente.
Tu peux aussi définir “Attendre avant le scraping” à 2000–5000 ms pour les pages lourdes en JS.

Dépannage

Échec de l'authentification

Vérifier la clé API depuis le tableau de bord
Supprimer les espaces de fin
Rentrer à nouveau dans le formulaire d’entrée Apify

Contenu vide

Augmenter le temps d’attente
Vérifier que l’URL est publique / non protégée par connexion
Essayer un format de sortie différent

Limite de taux dépassée

Espacer les exécutions via un programme
Préférer le lot pour de nombreuses URLs
Mettre à niveau le plan Olostep si nécessaire

Sites bloqués ou dynamiques

Essayer le paramètre de pays
Ajuster l’attente et le parseur
Contacter le support pour obtenir des conseils

Tarification

Olostep facture par utilisation de l’API (indépendamment d’Apify) :

Scrapes → par scrape
Lots → par URL
Crawls → par page
Cartes → par opération

Voir https://www.olostep.com/pricing.

Sécurité

Ta clé API est envoyée en tant que jeton Bearer à l’exécution.
Ne pas commettre les clés dans le contrôle de version ; Apify stocke les entrées dans le Key-Value Store.
En développement local, garde les clés dans storage/key_value_stores/default/INPUT.json (gitignoré).

Ressources associées

API Scrapes

Extraire du Markdown, HTML, texte ou JSON structuré compatible LLM à partir de n’importe quelle URL.

API Batches

Traiter jusqu’à 100k URLs simultanément et récupérer les résultats plus tard.

API Crawls

Découvrir et scraper récursivement le contenu d’un site.

API Maps

Obtenir toutes les URLs sur un site web pour préparer des scrapes en lot.

Support

Site Web Apify

Plateforme Apify

Docs Apify

Docs de la plateforme & SDK Apify

Documentation

Documentation complète de l’API

Email de support

info@olostep.com

​Ce que tu peux construire

Scraper un site web

Scraper des URLs en lot

Créer un crawl

Créer une carte

Réponses alimentées par l'IA

​Démarrage rapide

​1) Installer Apify CLI

​2) Obtenir ta clé API Olostep

​3) Exécuter l’Acteur Olostep localement

​4) Déployer sur Apify (cloud)

​Exécution dans la console Apify (étape par étape)

​Opérations disponibles

​Scraper un site web

​Scraper des URLs en lot

​Créer un crawl

​Créer une carte

​Exemples JSON à copier-coller (Console → Entrée → JSON)

​Scraper

​Lot

​Crawl

​Carte

​Réponses

​Exemples de flux de travail

​Parseurs spécialisés

Produit Amazon

Recherche Google

Google Maps

Plus de parseurs

​Bonnes pratiques

​Dépannage

​Tarification

​Sécurité

​Ressources associées

API Scrapes

API Batches

API Crawls

API Maps

​Support

Site Web Apify

Docs Apify

Documentation

Email de support

Ce que tu peux construire

Démarrage rapide

1) Installer Apify CLI

2) Obtenir ta clé API Olostep

3) Exécuter l’Acteur Olostep localement

4) Déployer sur Apify (cloud)

Exécution dans la console Apify (étape par étape)

Opérations disponibles

Scraper un site web

Scraper des URLs en lot

Créer un crawl

Créer une carte

Exemples JSON à copier-coller (Console → Entrée → JSON)

Scraper

Lot

Crawl

Carte

Réponses

Exemples de flux de travail

Parseurs spécialisés

Bonnes pratiques

Dépannage

Tarification

Sécurité

Ressources associées

Support