Functies
De integratie biedt 6 krachtige operaties voor geautomatiseerde webgegevens-extractie:Website Scrapen
Zoeken
Antwoorden (AI)
Batch Scrapen van URL's
Crawl Maken
Kaart Maken
Installatie
1. Installeer de Node
Installeer het Olostep-nodepakket via npm:2. Verbind Uw Account
Wanneer u de Olostep-node voor het eerst in een workflow gebruikt, moet u referenties configureren:- Voeg de “Olostep Scrape” node toe aan uw workflow
- Klik op de node om de instellingen te openen
- Klik op “Nieuwe Referentie Maken” of selecteer bestaande referenties
- Voer uw Olostep API-sleutel in
- Klik op “Opslaan” om de referentie op te slaan
Beschikbare Acties
Website Scrapen
Extraheer inhoud van een enkele URL. Ondersteunt meerdere formaten en JavaScript-rendering. Toepassingen:- Monitor specifieke pagina’s op wijzigingen
- Extraheer productinformatie van e-commerce sites
- Verzamel gegevens van nieuwsartikelen of blogposts
- Haal inhoud op voor inhoudsaggregatie
- Scrape ID
- Gescrapete URL
- Markdown Inhoud
- HTML Inhoud
- JSON Inhoud
- Tekst Inhoud
- Status
- Tijdstempel
- Screenshot URL (indien beschikbaar)
- Paginametadata
Monitor Concurrentieprijzen
Monitor Concurrentieprijzen
- URL: Concurrent productpagina
- Formaat: JSON
- Parser: @olostep/amazon-product
- Voeg prijsgegevens toe aan volgspreadsheet
- Waarschuw team over prijswijzigingen
Blogposts Extraheren en Opslaan
Blogposts Extraheren en Opslaan
- URL: {{$json.link}}
- Formaat: Markdown
- Sla artikelinhoud op in Notion-database
Leadverrijking
Leadverrijking
- URL: Bedrijfswebsite uit sheet
- Formaat: Markdown
- Extraheer bedrijfsinformatie met AI
- Voeg verrijkte gegevens terug aan sheet toe
Zoeken
Doorzoek het web voor een gegeven query en krijg gestructureerde resultaten (niet-AI, parser-gebaseerde zoekresultaten). Toepassingen:- Geautomatiseerde onderzoeksworkflows
- Leadontdekking en verrijking
- Concurrentieanalyse
- Inhoudsonderzoek
Geautomatiseerd Onderzoek
Geautomatiseerd Onderzoek
- Query: “laatste AI-ontwikkelingen”
- Extraheer en formatteer kerninformatie
- Sla onderzoeksbevindingen op
Leadontdekking
Leadontdekking
- Query: ”{{$json.searchTerm}}”
- Sla leads met contactinformatie op
Batch Scrapen van URL’s
Scrape tot 10k URL’s tegelijk. Perfect voor grootschalige gegevens-extractie. Toepassingen:- Scrape hele productcatalogi
- Extraheer gegevens van meerdere zoekresultaten
- Verwerk lijsten van URL’s uit spreadsheets
- Bulk inhoudsextractie
[{"url":"https://example.com","custom_id":"site1"}]- Batch ID (gebruik dit om resultaten later op te halen)
- Status
- Totaal aantal URL’s
- Aangemaakt Op
- Aangevraagd Formaat
- Landcode
- Gebruikte Parser
Productcatalogus Scrapen
Productcatalogus Scrapen
- Converteer CSV/lijst naar JSON-array formaat
- URL’s: {{$json.urlArray}}
- Formaat: JSON
- Parser: @olostep/amazon-product
- Stuur batch ID naar uw systeem voor ophalen
Dagelijkse Inhoudsbewaking
Dagelijkse Inhoudsbewaking
- Haal URL’s op om te monitoren
- Converteer naar batch-array formaat
- Verwerk alle URL’s tegelijk
- Informeer team dat scrapen voltooid is
Crawl Maken
Verkrijg de inhoud van subpagina’s van een URL. Ontdek en scrape zelfstandig hele websites door links te volgen. Perfect voor documentatiesites, blogs en inhoudsopslagplaatsen. Toepassingen:- Crawl en archiveer hele documentatiesites
- Extraheer alle blogposts van een website
- Bouw kennisbanken van webinhoud
- Monitor wijzigingen in websitestructuur
- Crawl ID (gebruik dit om resultaten later op te halen)
- Objecttype
- Status
- Start-URL
- Maximaal aantal pagina’s
- Volg Links
- Aangemaakte Tijdstempel
- Formaten
Documentatiesite Archiveren
Documentatiesite Archiveren
- Start-URL: https://docs.example.com
- Maximaal aantal pagina’s: 500
- Volg Links: true
- Formaat: Markdown
- Stuur crawl ID naar uw archiefsysteem
- Informeer team dat crawl bezig is
Concurrentie Inhoudsanalyse
Concurrentie Inhoudsanalyse
- Start-URL: Concurrent blog-URL
- Maximaal aantal pagina’s: 100
- Formaat: Markdown
- Wacht tot crawl voltooid is
- Sla crawlgegevens op voor analyse
Kaart Maken
Verkrijg alle URL’s op een website. Extraheer alle URL’s van een website voor inhoudsontdekking en site-structuuranalyse. Toepassingen:- Bouw sitemaps en site-structuurdiagrammen
- Ontdek alle pagina’s voordat u batch-scraping uitvoert
- Vind gebroken of ontbrekende pagina’s
- SEO-audits en analyse
- Kaart ID
- Objecttype
- Website URL
- Totaal aantal gevonden URL’s
- URL’s (JSON-array)
- Zoekopdracht
- Top N Limiet
Ontdek en Scrape
Ontdek en Scrape
- URL: https://example.com
- Inclusie Patronen: /products/**
- Top N: 500
- Parseer URL’s uit kaartresultaat
- URL’s: {{$json.urls}}
- Formaat: JSON
- Voeg alle productgegevens toe aan spreadsheet
SEO Site Audit
SEO Site Audit
- URL: Uw website
- Top N: 1000
- Sla alle URL’s op voor tracking
- Rapporteer totaal aantal gevonden pagina’s
Populaire Workflow Voorbeelden
E-commerce Prijsbewaking
Monitor concurrentieprijzen en ontvang directe meldingen:Inhoudsaggregatie
Aggregate inhoud van meerdere bronnen:Leadverrijkingspijplijn
Verrijk leadgegevens met webinformatie:Onderzoeksautomatisering
Automatiseer onderzoek van meerdere bronnen:Sociale Media Monitoring
Volg vermeldingen en inhoud:Multi-Step Workflows
Volledige Product Scraping Pijplijn
Bouw een uitgebreide productgegevenspijplijn:Ontdek Product URL's
- Inclusie patronen:
/products/** - Exclusie patronen:
/cart/**,/checkout/**
Batch Verwerk Producten
- Formaat: JSON
- Parser: Product-specifieke parser indien beschikbaar
Opslaan in Database
- Gebruik Airtable, Google Sheets, of uw database
SEO Inhoudsstrategie
Analyseer concurrenten en plan inhoud:Kaart Concurrent Sites
- Extraheer alle blogposts en inhoudspagina’s
Scrape Inhoud
- Formaat: Markdown voor eenvoudige analyse
AI Analyse
- Identificeer inhoudsgaten
- Vind trending onderwerpen
Gespecialiseerde Parsers
Olostep biedt vooraf gebouwde parsers voor populaire websites. Gebruik ze met hetParser veld:
Amazon Product
@olostep/amazon-productExtraheer: titel, prijs, beoordeling, recensies, afbeeldingen, variantenGoogle Zoeken
@olostep/google-searchExtraheer: zoekresultaten, titels, fragmenten, URL’sGoogle Maps
@olostep/google-mapsExtraheer: bedrijfsinformatie, recensies, beoordelingen, locatieE-mails Extraheren
@olostep/extract-emailsExtraheer: e-mails van pagina’s, contactlijsten en voettekstenSocials Extraheren
@olostep/extract-socialsExtraheer: sociale profiel links (X/Twitter, GitHub, etc.)Kalenders Extraheren
@olostep/extract-calendarsExtraheer: kalenderlinks (Google Calendar, ICS) van pagina’sParsers Gebruiken
Voeg eenvoudig de parser-ID toe aan het Parser veld. Twee voorbeelden:Integratie met Populaire Apps
Google Sheets
Perfect voor gegevensverzameling en tracking:- Prijsvolgspreadsheet
- Leadverrijkingsdatabases
- Inhoudsinventaris
- Concurrentieanalysesheets
Airtable
Bouw krachtige databases met gescrapete gegevens:- Productcatalogi
- Onderzoeksdatabases
- Inhoudskalenders
- Linkdatabases
Slack
Ontvang directe meldingen:- Prijsdaling waarschuwingen
- Inhoudsupdate meldingen
- Foutmonitoring
- Dagelijkse overzichten
HubSpot / Salesforce
Verrijk CRM-gegevens automatisch:- Leadverrijking
- Bedrijfsonderzoek
- Concurrentie-intelligentie
- Accountmapping
Notion
Bouw kennisbanken:- Documentatiespiegels
- Onderzoeksopslagplaatsen
- Inhoudsbibliotheken
- Teamwiki’s
Best Practices
Gebruik Batchverwerking voor Meerdere URL's
Gebruik Batchverwerking voor Meerdere URL's
- Veel sneller (parallelle verwerking)
- Kosteneffectiever
- Makkelijker te beheren
- Beter voor snelheidslimieten
Stel Geschikte Wachttijden In
Stel Geschikte Wachttijden In
- Eenvoudige sites: 0-1000ms
- Dynamische sites: 2000-3000ms
- Zware JavaScript: 5000-8000ms
Gebruik Gespecialiseerde Parsers
Gebruik Gespecialiseerde Parsers
- Krijg automatisch gestructureerde gegevens
- Betrouwbaardere extractie
- Geen noodzaak voor aangepaste parsing
- Onderhouden door Olostep
Filter Voor Scrapen
Filter Voor Scrapen
- Controleer of URL is gewijzigd
- Verifieer of gegevens niet recent zijn gescrapet
- Pas bedrijfslogica toe voor het scrapen
Behandel Asynchrone Operaties
Behandel Asynchrone Operaties
- Sla de geretourneerde ID op (batch_id, crawl_id, map_id)
- Gebruik een Wacht-node als u direct ophaalt
- Overweeg webhook-callbacks voor voltooiing
- Stel aparte workflows in voor ophalen
Sla Resultaten Correct Op
Sla Resultaten Correct Op
- Google Sheets: Eenvoudige tracking, team samenwerking
- Airtable: Relationele gegevens, rijke opmaak
- Database: Grootschalig, complexe queries
- Notion: Kennisbank, documentatie
Monitor en Waarschuw
Monitor en Waarschuw
- Gebruik Foutworkflows in n8n
- Stuur waarschuwingen naar Slack/E-mail bij fouten
- Volg API-gebruik in Olostep-dashboard
- Log belangrijke statistieken
Veelvoorkomende Toepassingen per Industrie
E-commerce
- Prijsbewaking: Volg concurrentieprijzen in real-time
- Productonderzoek: Ontdek trending producten en marktkansen
- Voorraadtracking: Monitor beschikbaarheid van voorraad
- Reviewanalyse: Verzamel en analyseer klantrecensies
Marketing & SEO
- Inhoudsontdekking: Vind inhoudskansen
- Concurrentieanalyse: Volg concurrentiestrategieën
- Backlinkonderzoek: Ontdek linkkansen
- Trefwoordonderzoek: Extraheer trefwoordgegevens uit zoekresultaten
Verkoop & Leadgeneratie
- Leadverrijking: Verrijk CRM-gegevens met webinformatie
- Bedrijfsonderzoek: Verzamel bedrijfsintelligentie
- Contactontdekking: Vind beslissers
- Concurrentie-intelligentie: Volg concurrentiebewegingen
Onderzoek & Analyse
- Gegevensverzameling: Verzamel gegevens van meerdere bronnen
- Marktonderzoek: Volg industrietrends
- Academisch Onderzoek: Verzamel onderzoeksgegevens
- Prijsintelligentie: Analyseer prijsstrategieën
Media & Uitgeverij
- Inhoudsaggregatie: Curate inhoud van meerdere sites
- Nieuwsmonitoring: Volg nieuws en vermeldingen
- Sociale Media: Monitor sociale platforms
- Trenddetectie: Identificeer trending onderwerpen
Probleemoplossing
Authenticatie Mislukt
Authenticatie Mislukt
- Controleer API-sleutel van dashboard
- Zorg ervoor dat er geen extra spaties in de API-sleutel staan
- Maak de referentie opnieuw in n8n
- Verifieer dat de API-sleutel actief is
Scrape Geeft Lege Inhoud Terug
Scrape Geeft Lege Inhoud Terug
- Verhoog de “Wacht Voor Scrapen” tijd
- Controleer of de website inloggen vereist
- Probeer een ander formaat (HTML vs Markdown)
- Verifieer of de URL toegankelijk is
- Controleer of de site geautomatiseerde toegang blokkeert
Batch Array Formaat Fout
Batch Array Formaat Fout
- Gebruik formaat:
[{"url":"https://example.com","custom_id":"id1"}] - Zorg voor correcte JSON-syntaxis
- Gebruik Code-node om URL’s correct te formatteren
- Test JSON met online validator
Snelheidslimiet Overschreden
Snelheidslimiet Overschreden
- Spreid workflow-uitvoeringen uit met Wacht-nodes
- Gebruik batchverwerking in plaats van individuele scrapes
- Upgrade uw Olostep-plan
- Controleer snelheidslimiet in dashboard
URL Niet Gescrapet
URL Niet Gescrapet
- Verifieer URL-formaat (inclusief http:// of https://)
- Controleer of URL authenticatie vereist
- Test URL eerst in browser
- Probeer met landparameter
- Neem contact op met support voor geblokkeerde domeinen
n8n Voordelen
Zelf-Gehost
n8n is zelf-gehost, wat u volledige controle geeft over uw workflows en gegevens. Geen leveranciersafhankelijkheid, geen gegevens die uw infrastructuur verlaten.Geen Taaklimieten
In tegenstelling tot cloud-gebaseerde automatiseringsplatforms legt n8n geen taaklimieten op. Voer zoveel workflows uit als u nodig heeft zonder extra kosten.Open Source
n8n is open source, waardoor u het kunt aanpassen en uitbreiden om aan uw specifieke behoeften te voldoen.Kosteneffectief
Zelf-gehoste n8n is gratis, met optionele cloudhosting beschikbaar. U betaalt alleen voor het gebruik van de Olostep API.Prijzen
Olostep rekent op basis van API-gebruik, onafhankelijk van n8n:- Scrapes: Betaal per scrape
- Batches: Betaal per URL in batch
- Crawls: Betaal per gecrawlde pagina
- Maps: Betaal per kaartoperatie