Funktionen
Die Integration bietet 6 leistungsstarke Operationen zur automatisierten Webdatenextraktion:Website Scrapen
Extrahieren Sie Inhalte von jeder einzelnen URL in mehreren Formaten (Markdown, HTML, JSON, Text)
Suche
Durchsuchen Sie das Web und erhalten Sie strukturierte Ergebnisse
Antworten (KI)
Durchsuchen Sie das Web mit KI und erhalten Sie strukturierte Antworten mit Quellen und Zitaten
Batch-URLs scrapen
Scrapen Sie bis zu 10.000 URLs gleichzeitig. Perfekt für groß angelegte Datenextraktion
Crawl erstellen
Erhalten Sie den Inhalt von Unterseiten einer URL. Entdecken und scrapen Sie autonom ganze Websites
Karte erstellen
Erhalten Sie alle URLs auf einer Website für die Analyse der Seitenstruktur und die Inhaltserkennung
Installation
1. Installieren Sie den Node
Installieren Sie das Olostep-Node-Paket über npm:2. Verbinden Sie Ihr Konto
Wenn Sie den Olostep-Node zum ersten Mal in einem Workflow verwenden, müssen Sie Anmeldeinformationen konfigurieren:- Fügen Sie den “Olostep Scrape”-Node zu Ihrem Workflow hinzu
- Klicken Sie auf den Node, um seine Einstellungen zu öffnen
- Klicken Sie auf “Neue Anmeldeinformationen erstellen” oder wählen Sie vorhandene Anmeldeinformationen aus
- Geben Sie Ihren Olostep-API-Schlüssel ein
- Klicken Sie auf “Speichern”, um die Anmeldeinformationen zu speichern
Verfügbare Aktionen
Website Scrapen
Extrahieren Sie Inhalte von einer einzelnen URL. Unterstützt mehrere Formate und JavaScript-Rendering. Anwendungsfälle:- Überwachen Sie bestimmte Seiten auf Änderungen
- Extrahieren Sie Produktinformationen von E-Commerce-Seiten
- Sammeln Sie Daten aus Nachrichtenartikeln oder Blogbeiträgen
- Ziehen Sie Inhalte für Content-Aggregation
Website-URL zum Scrapen (muss http:// oder https:// enthalten)
Format wählen: Markdown, HTML, JSON oder Klartext
Ländercode für standortspezifische Inhalte (z.B. “US”, “GB”, “CA”)
Wartezeit in Millisekunden für JavaScript-Rendering (0-10000)
Optionaler Parser-ID für spezialisierte Extraktion (z.B. “@olostep/amazon-product”)
- Scrape-ID
- Gescrapte URL
- Markdown-Inhalt
- HTML-Inhalt
- JSON-Inhalt
- Textinhalt
- Status
- Zeitstempel
- Screenshot-URL (falls verfügbar)
- Seiten-Metadaten
Wettbewerbspreise überwachen
Wettbewerbspreise überwachen
Auslöser: Zeitplan (Jeden Tag um 9 Uhr)Aktion: Olostep - Website Scrapen
- URL: Wettbewerber-Produktseite
- Format: JSON
- Parser: @olostep/amazon-product
- Preisdaten zum Tracking-Spreadsheet hinzufügen
- Team über Preisänderungen informieren
Blogbeiträge extrahieren und speichern
Blogbeiträge extrahieren und speichern
Auslöser: RSS-Feed - Neuer EintragAktion: Olostep - Website Scrapen
- URL: {{$json.link}}
- Format: Markdown
- Artikelinhalt in Notion-Datenbank speichern
Lead-Anreicherung
Lead-Anreicherung
Auslöser: Google Sheets - Neue ZeileAktion: Olostep - Website Scrapen
- URL: Unternehmenswebsite aus Tabelle
- Format: Markdown
- Unternehmensinformationen mit KI extrahieren
- Angereicherte Daten zurück in die Tabelle hinzufügen
Suche
Durchsuchen Sie das Web nach einer bestimmten Abfrage und erhalten Sie strukturierte Ergebnisse (nicht-KI, parserbasierte Suchergebnisse). Anwendungsfälle:- Automatisierte Forschungs-Workflows
- Lead-Entdeckung und Anreicherung
- Wettbewerbsanalyse
- Inhaltsrecherche
Suchabfrage
Automatisierte Forschung
Automatisierte Forschung
Auslöser: Zeitplan (Täglich um 8 Uhr)Aktion: Olostep - Suche
- Abfrage: “neueste KI-Entwicklungen”
- Wichtige Informationen extrahieren und formatieren
- Forschungsergebnisse speichern
Lead-Entdeckung
Lead-Entdeckung
Auslöser: Manuell (Button)Aktion: Olostep - Suche
- Abfrage: ”{{$json.searchTerm}}”
- Leads mit Kontaktinformationen speichern
Batch-URLs scrapen
Scrapen Sie bis zu 10.000 URLs gleichzeitig. Perfekt für groß angelegte Datenextraktion. Anwendungsfälle:- Ganze Produktkataloge scrapen
- Daten aus mehreren Suchergebnissen extrahieren
- Listen von URLs aus Tabellenkalkulationen verarbeiten
- Massenhafte Inhaltsextraktion
JSON-Array von Objekten mit url und custom_id Feldern.Beispiel:
[{"url":"https://example.com","custom_id":"site1"}]Format für alle URLs wählen: Markdown, HTML, JSON oder Klartext
Ländercode für standortspezifisches Scraping
Wartezeit in Millisekunden für JavaScript-Rendering
Optionaler Parser-ID für spezialisierte Extraktion
- Batch-ID (verwenden Sie dies, um Ergebnisse später abzurufen)
- Status
- Gesamtanzahl der URLs
- Erstellungsdatum
- Angefordertes Format
- Ländercode
- Verwendeter Parser
Produktkatalog scrapen
Produktkatalog scrapen
Auslöser: Webhook - POST-Anfrage empfangenAktion: Code - URLs formatieren
- CSV/Liste in JSON-Array-Format konvertieren
- URLs: {{$json.urlArray}}
- Format: JSON
- Parser: @olostep/amazon-product
- Batch-ID an Ihr System zur Abholung senden
Tägliche Inhaltsüberwachung
Tägliche Inhaltsüberwachung
Auslöser: Zeitplan - Jeden Tag um 6 UhrAktion: Google Sheets - Zeilen lesen
- Zu überwachende URLs abrufen
- In Batch-Array-Format konvertieren
- Alle URLs auf einmal verarbeiten
- Team benachrichtigen, dass das Scraping abgeschlossen ist
Crawl erstellen
Erhalten Sie den Inhalt von Unterseiten einer URL. Entdecken und scrapen Sie autonom ganze Websites, indem Sie Links folgen. Perfekt für Dokumentationsseiten, Blogs und Inhaltsrepositorien. Anwendungsfälle:- Ganze Dokumentationsseiten crawlen und archivieren
- Alle Blogbeiträge von einer Website extrahieren
- Wissensdatenbanken aus Webinhalten erstellen
- Änderungen in der Website-Struktur überwachen
Start-URL für den Crawl (muss http:// oder https:// enthalten)
Maximale Anzahl der zu crawlenden Seiten
Ob Links auf Seiten gefolgt werden sollen
Format für gescrapten Inhalt
Optionaler Ländercode für standortspezifisches Crawling
Optionaler Parser-ID für spezialisierte Inhaltsextraktion
- Crawl-ID (verwenden Sie dies, um Ergebnisse später abzurufen)
- Objekttyp
- Status
- Start-URL
- Maximale Seiten
- Links folgen
- Erstellungszeitstempel
- Formate
Dokumentationsseite archivieren
Dokumentationsseite archivieren
Auslöser: Zeitplan - Monatlich am 1. um 0 UhrAktion: Olostep - Crawl erstellen
- Start-URL: https://docs.example.com
- Maximale Seiten: 500
- Links folgen: true
- Format: Markdown
- Crawl-ID an Ihr Archivsystem senden
- Team benachrichtigen, dass der Crawl läuft
Wettbewerberinhaltsanalyse
Wettbewerberinhaltsanalyse
Auslöser: Zeitplan - Wöchentlich am Montag um 9 UhrAktion: Olostep - Crawl erstellen
- Start-URL: Wettbewerber-Blog-URL
- Maximale Seiten: 100
- Format: Markdown
- Warten, bis der Crawl abgeschlossen ist
- Crawl-Daten zur Analyse speichern
Karte erstellen
Erhalten Sie alle URLs auf einer Website. Extrahieren Sie alle URLs von einer Website zur Inhaltserkennung und Analyse der Seitenstruktur. Anwendungsfälle:- Sitemaps und Seitenstrukturdiagramme erstellen
- Alle Seiten vor dem Batch-Scraping entdecken
- Gebrochene oder fehlende Seiten finden
- SEO-Audits und Analysen
Website-URL, um Links zu extrahieren (muss http:// oder https:// enthalten)
Optionale Suchabfrage, um URLs zu filtern (z.B. “blog”)
Begrenzen Sie die Anzahl der zurückgegebenen URLs
Glob-Muster, um bestimmte Pfade einzuschließen (z.B. “/blog/**”)
Glob-Muster, um bestimmte Pfade auszuschließen (z.B. “/admin/**”)
- Karten-ID
- Objekttyp
- Website-URL
- Gesamtanzahl gefundener URLs
- URLs (JSON-Array)
- Suchabfrage
- Top-N-Limit
Entdecken und Scrapen
Entdecken und Scrapen
Auslöser: Manuell (Button)Aktion: Olostep - Karte erstellen
- URL: https://example.com
- Einschlussmuster: /products/**
- Top-N: 500
- URLs aus dem Kartenresultat parsen
- URLs: {{$json.urls}}
- Format: JSON
- Alle Produktdaten zur Tabelle hinzufügen
SEO-Site-Audit
SEO-Site-Audit
Auslöser: Zeitplan - MonatlichAktion: Olostep - Karte erstellen
- URL: Ihre Website
- Top-N: 1000
- Alle URLs zur Nachverfolgung speichern
- Gesamtanzahl der gefundenen Seiten berichten
Beliebte Workflow-Beispiele
E-Commerce-Preisüberwachung
Überwachen Sie Wettbewerberpreise und erhalten Sie sofortige Benachrichtigungen:Inhaltsaggregation
Aggregieren Sie Inhalte aus mehreren Quellen:Lead-Anreicherungs-Pipeline
Bereichern Sie Lead-Daten mit Webinformationen:Forschungsautomatisierung
Automatisieren Sie Forschung aus mehreren Quellen:Social Media Monitoring
Verfolgen Sie Erwähnungen und Inhalte:Mehrstufige Workflows
Vollständige Produktscraping-Pipeline
Erstellen Sie eine umfassende Produktdaten-Pipeline:Produkt-URLs entdecken
Verwenden Sie Karte erstellen, um alle Produktseiten auf der Ziel-Website zu finden
- Einschlussmuster:
/products/** - Ausschlussmuster:
/cart/**,/checkout/**
Produkte stapelweise verarbeiten
Verwenden Sie Batch-URLs scrapen, um alle Produktdaten zu extrahieren
- Format: JSON
- Parser: Produktspezifischer Parser, falls verfügbar
In Datenbank speichern
Senden Sie die Batch-ID an Ihr System oder warten Sie und rufen Sie Ergebnisse ab
- Verwenden Sie Airtable, Google Sheets oder Ihre Datenbank
SEO-Inhaltsstrategie
Analysieren Sie Wettbewerber und planen Sie Inhalte:Wettbewerberseiten kartieren
Verwenden Sie Karte erstellen auf Wettbewerber-Websites
- Alle Blogbeiträge und Inhaltsseiten extrahieren
Inhalte scrapen
Verwenden Sie Batch-URLs scrapen, um vollständige Inhalte zu erhalten
- Format: Markdown zur einfachen Analyse
KI-Analyse
Verwenden Sie OpenAI, um Themen und Schlüsselwörter zu analysieren
- Inhaltslücken identifizieren
- Trendthemen finden
Spezialisierte Parser
Olostep bietet vorgefertigte Parser für beliebte Websites. Verwenden Sie sie mit demParser-Feld:
Amazon-Produkt
@olostep/amazon-productExtrahieren: Titel, Preis, Bewertung, Rezensionen, Bilder, VariantenGoogle-Suche
@olostep/google-searchExtrahieren: Suchergebnisse, Titel, Snippets, URLsGoogle Maps
@olostep/google-mapsExtrahieren: Unternehmensinformationen, Rezensionen, Bewertungen, StandortE-Mails extrahieren
@olostep/extract-emailsExtrahieren: E-Mails von Seiten, Kontaktlisten und FußzeilenSoziale Netzwerke extrahieren
@olostep/extract-socialsExtrahieren: Links zu sozialen Profilen (X/Twitter, GitHub, etc.)Kalender extrahieren
@olostep/extract-calendarsExtrahieren: Kalenderlinks (Google Calendar, ICS) von SeitenVerwendung von Parsern
Fügen Sie einfach die Parser-ID zum Parser-Feld hinzu. Zwei Beispiele:Integration mit beliebten Apps
Google Sheets
Perfekt für Datensammlung und -verfolgung:- Preisverfolgungs-Tabellen
- Lead-Anreicherungsdatenbanken
- Inhaltsinventar
- Wettbewerbsanalysen
Airtable
Erstellen Sie leistungsstarke Datenbanken mit gescrapten Daten:- Produktkataloge
- Forschungsdatenbanken
- Inhaltskalender
- Link-Datenbanken
Slack
Erhalten Sie sofortige Benachrichtigungen:- Preisalarm bei Preisrückgang
- Inhaltsaktualisierungsbenachrichtigungen
- Fehlerüberwachung
- Tägliche Zusammenfassungen
HubSpot / Salesforce
Bereichern Sie CRM-Daten automatisch:- Lead-Anreicherung
- Unternehmensrecherche
- Wettbewerbsintelligenz
- Account-Mapping
Notion
Erstellen Sie Wissensdatenbanken:- Dokumentationsspiegel
- Forschungsrepositorien
- Inhaltsbibliotheken
- Team-Wikis
Best Practices
Verwenden Sie Batch-Verarbeitung für mehrere URLs
Verwenden Sie Batch-Verarbeitung für mehrere URLs
Wenn Sie mehr als 3-5 URLs scrapen, verwenden Sie Batch-URLs scrapen anstelle mehrerer Website Scrapen-Aktionen. Batch-Verarbeitung ist:
- Viel schneller (Parallelverarbeitung)
- Kostengünstiger
- Einfacher zu verwalten
- Besser für Ratenlimits
Setzen Sie angemessene Wartezeiten
Setzen Sie angemessene Wartezeiten
Für JavaScript-lastige Seiten verwenden Sie den Parameter “Wartezeit vor dem Scrapen”:
- Einfache Seiten: 0-1000ms
- Dynamische Seiten: 2000-3000ms
- Schweres JavaScript: 5000-8000ms
Verwenden Sie spezialisierte Parser
Verwenden Sie spezialisierte Parser
Verwenden Sie vorgefertigte Parser (z.B. Amazon, Google und aufgabenspezifische Parser aus dem Olostep Store wie E-Mails, soziale Netzwerke, Kalender):
- Automatisch strukturierte Daten erhalten
- Zuverlässigere Extraktion
- Kein Bedarf an benutzerdefiniertem Parsing
- Von Olostep gewartet
Filtern Sie vor dem Scrapen
Filtern Sie vor dem Scrapen
Verwenden Sie den IF-Node von n8n, um unnötige Scrapes zu vermeiden:
- Prüfen, ob sich die URL geändert hat
- Überprüfen, ob Daten kürzlich gescrapt wurden
- Geschäftliche Logik vor dem Scrapen anwenden
Asynchrone Operationen handhaben
Asynchrone Operationen handhaben
Batch-, Crawl- und Kartenoperationen sind asynchron:
- Speichern Sie die zurückgegebene ID (batch_id, crawl_id, map_id)
- Verwenden Sie einen Wait-Node, wenn Sie sofort abrufen
- Erwägen Sie Webhook-Callbacks für den Abschluss
- Richten Sie separate Workflows für die Abholung ein
Ergebnisse richtig speichern
Ergebnisse richtig speichern
Wählen Sie den richtigen Speicher basierend auf Ihren Bedürfnissen:
- Google Sheets: Einfache Nachverfolgung, Teamzusammenarbeit
- Airtable: Relationale Daten, reichhaltige Formatierung
- Datenbank: Großangelegt, komplexe Abfragen
- Notion: Wissensdatenbank, Dokumentation
Überwachen und Benachrichtigen
Überwachen und Benachrichtigen
Richten Sie die Überwachung für Ihre Scraping-Workflows ein:
- Verwenden Sie Fehler-Workflows in n8n
- Senden Sie Benachrichtigungen an Slack/E-Mail bei Fehlern
- Verfolgen Sie die API-Nutzung im Olostep-Dashboard
- Protokollieren Sie wichtige Metriken
Häufige Anwendungsfälle nach Branche
E-Commerce
- Preisüberwachung: Verfolgen Sie Wettbewerberpreise in Echtzeit
- Produktforschung: Entdecken Sie Trendprodukte und Marktlücken
- Bestandsverfolgung: Überwachen Sie die Verfügbarkeit von Lagerbeständen
- Rezensionsanalyse: Aggregieren und analysieren Sie Kundenrezensionen
Marketing & SEO
- Inhaltserkennung: Finden Sie Inhaltsmöglichkeiten
- Wettbewerbsanalyse: Verfolgen Sie Wettbewerbsstrategien
- Backlink-Recherche: Entdecken Sie Linkmöglichkeiten
- Keyword-Recherche: Extrahieren Sie Keyword-Daten aus Suchergebnissen
Vertrieb & Lead-Generierung
- Lead-Anreicherung: CRM-Daten mit Webinformationen anreichern
- Unternehmensrecherche: Unternehmensinformationen sammeln
- Kontakterkennung: Entscheidungsträger finden
- Wettbewerbsintelligenz: Wettbewerberbewegungen verfolgen
Forschung & Analytik
- Datensammlung: Daten aus mehreren Quellen sammeln
- Marktforschung: Branchentrends verfolgen
- Akademische Forschung: Forschungsdaten sammeln
- Preisintelligenz: Preisstrategien analysieren
Medien & Verlagswesen
- Inhaltsaggregation: Inhalte von mehreren Seiten kuratieren
- Nachrichtenüberwachung: Nachrichten und Erwähnungen verfolgen
- Soziale Medien: Soziale Plattformen überwachen
- Trend-Erkennung: Trendthemen identifizieren
Fehlerbehebung
Authentifizierung fehlgeschlagen
Authentifizierung fehlgeschlagen
Fehler: “Ungültiger API-Schlüssel”Lösungen:
- Überprüfen Sie den API-Schlüssel vom Dashboard
- Stellen Sie sicher, dass keine zusätzlichen Leerzeichen im API-Schlüssel vorhanden sind
- Erstellen Sie die Anmeldeinformationen in n8n neu
- Überprüfen Sie, ob der API-Schlüssel aktiv ist
Scrape liefert leere Inhalte
Scrape liefert leere Inhalte
Fehler: Inhaltsfelder sind leerLösungen:
- Erhöhen Sie die “Wartezeit vor dem Scrapen”
- Überprüfen Sie, ob die Website eine Anmeldung erfordert
- Versuchen Sie ein anderes Format (HTML vs Markdown)
- Überprüfen Sie, ob die URL zugänglich ist
- Überprüfen Sie, ob die Website automatisierten Zugriff blockiert
Batch-Array-Formatfehler
Batch-Array-Formatfehler
Fehler: “Ungültiges JSON-Format für Batch-Array”Lösungen:
- Verwenden Sie das Format:
[{"url":"https://example.com","custom_id":"id1"}] - Stellen Sie sicher, dass die JSON-Syntax korrekt ist
- Verwenden Sie den Code-Node, um URLs korrekt zu formatieren
- Testen Sie JSON mit einem Online-Validator
Ratenlimit überschritten
Ratenlimit überschritten
Fehler: “Ratenlimit überschritten”Lösungen:
- Verteilen Sie die Workflow-Ausführungen mit Wait-Nodes
- Verwenden Sie Batch-Verarbeitung anstelle einzelner Scrapes
- Aktualisieren Sie Ihren Olostep-Plan
- Überprüfen Sie das Ratenlimit im Dashboard
URL nicht gescrapt
URL nicht gescrapt
Fehler: Bestimmte URLs werden nicht gescraptLösungen:
- Überprüfen Sie das URL-Format (einschließlich http:// oder https://)
- Überprüfen Sie, ob die URL eine Authentifizierung erfordert
- Testen Sie die URL zuerst im Browser
- Versuchen Sie es mit dem Länderparameter
- Kontaktieren Sie den Support für blockierte Domains
Vorteile von n8n
Selbstgehostet
n8n ist selbstgehostet, was Ihnen vollständige Kontrolle über Ihre Workflows und Daten gibt. Keine Anbieterbindung, keine Daten verlassen Ihre Infrastruktur.Keine Aufgabenlimits
Im Gegensatz zu cloudbasierten Automatisierungsplattformen setzt n8n keine Aufgabenlimits. Führen Sie so viele Workflows aus, wie Sie benötigen, ohne zusätzliche Kosten.Open Source
n8n ist Open Source, sodass Sie es anpassen und erweitern können, um Ihren spezifischen Bedürfnissen gerecht zu werden.Kosteneffektiv
Selbstgehostetes n8n ist kostenlos, mit optionalem Cloud-Hosting verfügbar. Zahlen Sie nur für die Nutzung der Olostep-API.Preisgestaltung
Olostep berechnet basierend auf der API-Nutzung, unabhängig von n8n:- Scrapes: Bezahlung pro Scrape
- Batches: Bezahlung pro URL im Batch
- Crawls: Bezahlung pro gecrawlte Seite
- Karten: Bezahlung pro Kartenoperation
Support
Benötigen Sie Hilfe bei der n8n-Integration?Dokumentation
Durchsuchen Sie die vollständigen API-Dokumente
Support-E-Mail
E-Mail: info@olostep.com
n8n-Community
Fragen Sie in der n8n-Community
Statusseite
Überprüfen Sie den API-Status
Verwandte Ressourcen
Scrapes API
Erfahren Sie mehr über den Scrapes-Endpunkt
Batches API
Erfahren Sie mehr über den Batches-Endpunkt
Crawls API
Erfahren Sie mehr über den Crawls-Endpunkt
Maps API
Erfahren Sie mehr über den Maps-Endpunkt
Python SDK
Verwenden Sie Olostep mit Python
LangChain-Integration
Erstellen Sie KI-Agenten mit LangChain
Erste Schritte
Bereit, Ihre Websuche, Scraping und Crawling-Workflows zu automatisieren?Node installieren
Installieren Sie n8n-nodes-olostep und beginnen Sie mit dem Aufbau automatisierter Workflows