Fonctionnalités
L’intégration fournit 5 actions puissantes pour l’extraction automatisée de données web et la recherche alimentée par l’IA :Scraper un site web
Scraper des URLs en lot
Créer un crawl
Créer une carte
Demander une réponse IA
Installation
1. Trouver Olostep dans Zapier
Recherchez “Olostep” dans le répertoire d’applications Zapier ou lors de la création d’un nouveau Zap :- Allez sur Olostep sur Zapier
- Cliquez sur “Créer un Zap”
- Recherchez “Olostep” dans le sélecteur d’applications
- Sélectionnez l’application Olostep
2. Connectez votre compte
Lorsque vous utilisez Olostep pour la première fois dans un Zap, vous serez invité à connecter votre compte :- Cliquez sur “Se connecter à Olostep”
- Entrez votre clé API Olostep
- Cliquez sur “Oui, continuer vers Olostep”
Actions disponibles
Scraper un site web
Extraire le contenu d’une URL unique. Prend en charge plusieurs formats et le rendu JavaScript. Cas d’utilisation :- Surveiller des pages spécifiques pour des changements
- Extraire des informations produit de sites e-commerce
- Rassembler des données d’articles de presse ou de blogs
- Extraire du contenu pour l’agrégation de contenu
- ID de scrape
- URL scrappée
- Contenu Markdown
- Contenu HTML
- Contenu JSON
- Contenu texte
- Statut
- Horodatage
- URL de capture d’écran (si disponible)
- Métadonnées de la page
Surveiller les prix des concurrents
Surveiller les prix des concurrents
- URL : Page produit du concurrent
- Format : JSON
- Parseur : @olostep/amazon-product
- Ajouter les données de prix au tableau de suivi
- Alerter l’équipe des changements de prix
Extraire et enregistrer des articles de blog
Extraire et enregistrer des articles de blog
- URL : {{URL de l’article}}
- Format : Markdown
- Enregistrer le contenu de l’article dans la base de données Notion
Enrichissement de prospects
Enrichissement de prospects
- URL : Site web de l’entreprise depuis la feuille
- Format : Markdown
- Extraire des informations sur l’entreprise en utilisant l’IA
- Ajouter les données enrichies à la feuille
Scraper des URLs en lot
Traitez plusieurs URLs en parallèle (jusqu’à 100 000 à la fois). Parfait pour l’extraction de données à grande échelle. Cas d’utilisation :- Scraper des catalogues de produits entiers
- Extraire des données de plusieurs résultats de recherche
- Traiter des listes d’URLs depuis des feuilles de calcul
- Extraction de contenu en masse
[{"url":"https://example.com","custom_id":"site1"}]- ID de lot (utilisez ceci pour récupérer les résultats plus tard)
- Statut
- Total des URLs
- Créé à
- Format demandé
- Code pays
- Parseur utilisé
Scraper le catalogue de produits
Scraper le catalogue de produits
- Convertir CSV/liste en format tableau JSON
- URLs : {{tableau JSON de l’étape précédente}}
- Format : JSON
- Parseur : @olostep/amazon-product
- Envoyer l’ID de lot à votre système pour récupération
Surveillance quotidienne de contenu
Surveillance quotidienne de contenu
- Récupérer les URLs à surveiller
- Convertir en format de tableau de lot
- Traiter toutes les URLs en une fois
- Notifier l’équipe que le scraping est terminé
Créer un crawl
Découvrez et scrapez de manière autonome des sites web entiers en suivant les liens. Parfait pour les sites de documentation, les blogs et les référentiels de contenu. Cas d’utilisation :- Crawler et archiver des sites de documentation entiers
- Extraire tous les articles de blog d’un site web
- Construire des bases de connaissances à partir de contenu web
- Surveiller les changements de structure de site web
- ID de crawl (utilisez ceci pour récupérer les résultats plus tard)
- Type d’objet
- Statut
- URL de départ
- Nombre maximum de pages
- Suivre les liens
- Horodatage de création
- Formats
Archiver un site de documentation
Archiver un site de documentation
- URL de départ : https://docs.example.com
- Pages max : 500
- Suivre les liens : true
- Format : Markdown
- Envoyer l’ID de crawl à votre système d’archivage
- Notifier l’équipe que le crawl est en cours
Analyse de contenu des concurrents
Analyse de contenu des concurrents
- URL de départ : URL du blog du concurrent
- Pages max : 100
- Format : Markdown
- Attendre la fin du crawl
- Stocker les données du crawl pour analyse
Créer une carte
Extrayez toutes les URLs d’un site web pour la découverte de contenu et l’analyse de la structure du site. Cas d’utilisation :- Construire des sitemaps et des diagrammes de structure de site
- Découvrir toutes les pages avant le scraping en lot
- Trouver des pages cassées ou manquantes
- Audits et analyses SEO
- ID de carte
- Type d’objet
- URL du site web
- Total des URLs trouvées
- URLs (tableau JSON)
- Requête de recherche
- Limite Top N
Découvrir et scraper
Découvrir et scraper
- URL : https://example.com
- Inclure des motifs : /products/**
- Top N : 500
- Analyser les URLs à partir du résultat de la carte
- URLs : {{URLs de la carte}}
- Format : JSON
- Ajouter toutes les données produit à la feuille de calcul
Audit SEO du site
Audit SEO du site
- URL : Votre site web
- Top N : 1000
- Stocker toutes les URLs pour suivi
- Rapporter le total des pages trouvées
Demander une réponse IA
Obtenez des réponses alimentées par l’IA aux questions en utilisant la recherche web ou vos URLs de contexte fournies. Parfait pour l’automatisation de la recherche, la génération de contenu et l’analyse de données. Cas d’utilisation :- Automatisation de la recherche avec citations
- Résumer le contenu de plusieurs URLs
- Générer des rapports avec des références de sources
- Répondre à des questions en utilisant des pages web spécifiques
- Analyse et extraction de contenu
- ID de réponse
- Type d’objet
- Question
- Réponse (Texte)
- Réponse (Markdown)
- Réponse (JSON)
- Citations (tableau JSON avec URLs, titres, extraits)
- Horodatage de création
- Format
- URLs de contexte
- Requête de recherche
- Nombre de sources
Rapport de recherche automatisé
Rapport de recherche automatisé
- Question : {{message Slack}}
- Requête de recherche : Termes de recherche associés
- Nombre de sources : 5
- Format : Markdown
- Inclure les citations : true
- Répondre avec la réponse générée par l’IA et les citations
Résumé de contenu à partir d'URLs
Résumé de contenu à partir d'URLs
- Question : “Résumez les points clés de ces pages”
- URLs de contexte : {{URLs de la feuille}}
- Format : Markdown
- Inclure les citations : true
- Enregistrer le résumé avec les liens sources
Intelligence concurrentielle
Intelligence concurrentielle
- Question : “Quelles sont les dernières mises à jour de produits et changements de prix ?”
- Requête de recherche : site:competitor.com news OR updates
- Nombre de sources : 10
- Format : JSON
- Stocker les informations concurrentielles
- Envoyer une analyse concurrentielle hebdomadaire
Réponse automatique aux FAQ
Réponse automatique aux FAQ
- Question : {{Question du client}}
- URLs de contexte : [“https://yoursite.com/docs”, “https://yoursite.com/faq”]
- Format : Texte
- Inclure les citations : true
- Répondre au client avec la réponse générée par l’IA
Exemples de flux de travail populaires
Surveillance des prix en e-commerce
Surveillez les prix des concurrents et recevez des alertes instantanées :Agrégation de contenu
Agrégerez du contenu à partir de plusieurs sources :Pipeline d’enrichissement de prospects
Enrichissez les données de prospects avec des informations web :Automatisation de la recherche
Automatisez la recherche à partir de plusieurs sources :Surveillance des médias sociaux
Suivez les mentions et le contenu :Flux de travail multi-étapes
Pipeline complet de scraping de produits
Construisez un pipeline complet de données produit :Découvrir les URLs de produits
- Inclure des motifs :
/products/** - Exclure des motifs :
/cart/**,/checkout/**
Traiter les produits en lot
- Format : JSON
- Parseur : Parseur spécifique au produit si disponible
Stocker dans la base de données
- Utilisez Airtable, Google Sheets ou votre base de données
Stratégie de contenu SEO
Analysez les concurrents et planifiez le contenu :Cartographier les sites des concurrents
- Extrayez tous les articles de blog et pages de contenu
Scraper le contenu
- Format : Markdown pour une analyse facile
Analyse IA
- Identifiez les lacunes de contenu
- Trouvez les sujets tendance
Parseurs spécialisés
Olostep fournit des parseurs préconstruits pour les sites web populaires. Utilisez-les avec le champParseur :
Recherche Google
@olostep/google-searchExtraire : résultats de recherche, titres, extraits, URLsUtilisation des parseurs
Ajoutez simplement l’ID du parseur au champ Parseur :Intégration avec des applications populaires
Google Sheets
Parfait pour la collecte et le suivi de données :- Tableaux de suivi des prix
- Bases de données d’enrichissement de prospects
- Inventaire de contenu
- Feuilles d’analyse concurrentielle
Airtable
Construisez des bases de données puissantes avec des données scrappées :- Catalogues de produits
- Bases de données de recherche
- Calendriers de contenu
- Bases de données de liens
Slack
Recevez des notifications instantanées :- Alertes de baisse de prix
- Notifications de mise à jour de contenu
- Surveillance des erreurs
- Résumés quotidiens
HubSpot / Salesforce
Enrichissez automatiquement les données CRM :- Enrichissement de prospects
- Recherche d’entreprise
- Intelligence concurrentielle
- Cartographie des comptes
Notion
Construisez des bases de connaissances :- Miroirs de documentation
- Référentiels de recherche
- Bibliothèques de contenu
- Wikis d’équipe
Bonnes pratiques
Utiliser le traitement en lot pour plusieurs URLs
Utiliser le traitement en lot pour plusieurs URLs
- Beaucoup plus rapide (traitement parallèle)
- Plus économique
- Plus facile à gérer
- Meilleur pour les limites de taux
Définir des temps d'attente appropriés
Définir des temps d'attente appropriés
- Sites simples : 0-1000ms
- Sites dynamiques : 2000-3000ms
- JavaScript lourd : 5000-8000ms
Utiliser des parseurs spécialisés
Utiliser des parseurs spécialisés
- Obtenez des données structurées automatiquement
- Extraction plus fiable
- Pas besoin de parsing personnalisé
- Maintenu par Olostep
Filtrer avant de scraper
Filtrer avant de scraper
- Vérifiez si l’URL a changé
- Vérifiez que les données n’ont pas été scrappées récemment
- Appliquez la logique métier avant de scraper
Gérer les opérations asynchrones
Gérer les opérations asynchrones
- Stockez l’ID retourné (batch_id, crawl_id, map_id)
- Utilisez une action Délai si vous récupérez immédiatement
- Envisagez des callbacks webhook pour la complétion
- Configurez des Zaps séparés pour la récupération
Stocker les résultats correctement
Stocker les résultats correctement
- Google Sheets : Suivi simple, collaboration d’équipe
- Airtable : Données relationnelles, formatage riche
- Base de données : Grande échelle, requêtes complexes
- Notion : Base de connaissances, documentation
Surveiller et alerter
Surveiller et alerter
- Utilisez des chemins d’erreur dans les Zaps
- Envoyez des alertes à Slack/Email en cas d’échecs
- Suivez l’utilisation de l’API dans le tableau de bord Olostep
- Enregistrez des métriques importantes
Cas d’utilisation courants par industrie
E-commerce
- Surveillance des prix : Suivez les prix des concurrents en temps réel
- Recherche de produits : Découvrez les produits tendance et les lacunes du marché
- Suivi des stocks : Surveillez la disponibilité des stocks
- Analyse des avis : Agrégez et analysez les avis clients
Marketing & SEO
- Découverte de contenu : Trouvez des opportunités de contenu
- Analyse concurrentielle : Suivez les stratégies des concurrents
- Recherche de backlinks : Découvrez des opportunités de liens
- Recherche de mots-clés : Extrayez des données de mots-clés à partir des résultats de recherche
Ventes & Génération de leads
- Enrichissement de prospects : Améliorez les données CRM avec des informations web
- Recherche d’entreprise : Rassemblez des informations sur les entreprises
- Découverte de contacts : Trouvez des décideurs
- Intelligence concurrentielle : Suivez les mouvements des concurrents
Recherche & Analyse
- Collecte de données : Rassemblez des données de plusieurs sources
- Étude de marché : Suivez les tendances de l’industrie
- Recherche académique : Collectez des données de recherche
- Intelligence des prix : Analysez les stratégies de tarification
Médias & Édition
- Agrégation de contenu : Curatez du contenu à partir de plusieurs sites
- Surveillance des actualités : Suivez les actualités et mentions
- Médias sociaux : Surveillez les plateformes sociales
- Détection de tendances : Identifiez les sujets tendance
Dépannage
Échec de l'authentification
Échec de l'authentification
- Vérifiez la clé API depuis le tableau de bord
- Assurez-vous qu’il n’y a pas d’espaces supplémentaires dans la clé API
- Reconnectez votre compte Olostep dans Zapier
- Vérifiez que la clé API est active
Le scrape renvoie un contenu vide
Le scrape renvoie un contenu vide
- Augmentez le temps “Attendre avant de scraper”
- Vérifiez si le site web nécessite une connexion
- Essayez un format différent (HTML vs Markdown)
- Vérifiez que l’URL est accessible
- Vérifiez si le site bloque l’accès automatisé
Erreur de format du tableau de lot
Erreur de format du tableau de lot
- Utilisez le format :
[{"url":"https://example.com","custom_id":"id1"}] - Assurez-vous de la syntaxe JSON correcte
- Utilisez une étape Code pour formater correctement les URLs
- Testez le JSON avec un validateur en ligne
Limite de taux dépassée
Limite de taux dépassée
- Espacer les exécutions de Zap avec des délais
- Utilisez le traitement en lot au lieu de scrapes individuels
- Mettez à niveau votre plan Olostep
- Vérifiez la limite de taux dans le tableau de bord
URL non scrappée
URL non scrappée
- Vérifiez le format de l’URL (inclure http:// ou https://)
- Vérifiez si l’URL nécessite une authentification
- Testez l’URL dans un navigateur d’abord
- Essayez avec le paramètre de pays
- Contactez le support pour les domaines bloqués
Limitations et solutions de contournement de Zapier
Limites de tâches
Zapier a des limites de tâches en fonction de votre plan. Chaque action Olostep compte pour 1 tâche. Solution de contournement : Utilisez le traitement en lot pour scraper plusieurs URLs en une seule tâche.Temps d’exécution
Les Zaps expirent après 30 secondes. Les crawls et les lots importants peuvent prendre plus de temps. Solution de contournement : Stockez l’ID et récupérez les résultats dans un Zap séparé ou utilisez des webhooks.Taille des données
Zapier a des limites sur la taille des données par tâche. Solution de contournement : Utilisez des URLs hébergées dans la sortie pour récupérer le contenu volumineux séparément.Polling vs Instantané
Les déclencheurs sont basés sur le polling (vérification toutes les 5-15 minutes). Solution de contournement : Utilisez des webhooks pour des notifications instantanées ou planifiez à des moments spécifiques.Tarification
Olostep facture en fonction de l’utilisation de l’API, indépendamment de Zapier :- Scrapes : Paiement par scrape
- Lots : Paiement par URL dans le lot
- Crawls : Paiement par page crawlée
- Cartes : Paiement par opération de carte