Olostep + Apify Integration

Olostep ist eine Websuch-, Scraping- und Crawling-API — eine API zum Suchen, Extrahieren und Strukturieren von Webdaten. Dieser Leitfaden zeigt, wie du Olostep mit Apify Actors verwenden kannst, um zuverlässige Webdaten-Pipelines von Anfang bis Ende zu erstellen.

Was du bauen kannst

Website scrapen

Extrahiere Inhalte von jeder einzelnen URL in Markdown, HTML, JSON oder Text

Batch-Scraping von URLs

Verarbeite große Listen von URLs parallel mit strukturierten Ausgaben

Crawl erstellen

Entdecke und scrape verlinkte Seiten, um vollständige Datensätze zu erstellen

Karte erstellen

Extrahiere alle URLs von einer Website (sitemap-ähnliche Entdeckung)

KI-gestützte Antworten

Stelle Fragen und erhalte strukturierte JSON-Antworten mit Quellen

Schnellstart

1) Installiere Apify CLI

npm install -g apify-cli
apify --version

2) Hol dir deinen Olostep API-Schlüssel

Vom Olostep-Dashboard → API-Schlüssel.

3) Führe den Olostep Actor lokal aus

cd olostep-tools/integrations/apify
apify run

Die Standard-Eingabedatei befindet sich unter: olostep-tools/integrations/apify/storage/key_value_stores/default/INPUT.json Beispiel-Eingabe:

{
  "operation": "scrape",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "url_to_scrape": "https://example.com",
  "formats": "markdown"
}

4) Auf Apify (Cloud) bereitstellen

apify login
apify push

Öffne dann die Apify-Konsole → Actors → führe den Actor mit deiner gewünschten Eingabe aus.

In der Apify-Konsole ausführen (Schritt für Schritt)

Öffne deinen Actor in der Apify-Konsole → Quelle → Eingabe.
Im Tab “Manuell” siehst du ein sichtbares Feld „Olostep API-Schlüssel“. Füge deinen Schlüssel aus dem Olostep-Dashboard ein.
Wähle eine Operation (standardmäßig „scrape“).
Fülle die relevanten Felder aus (für „scrape“, setze „URL zum Scrapen“).
Klicke auf Speichern → Starten.
Wenn der Lauf abgeschlossen ist, öffne den Datensatz-Tab, um die Ergebnisse herunterzuladen (JSON/CSV/Excel).

Hinweise:

Für „URL zum Scrapen“ kannst du mit oder ohne Schema einfügen. Wenn es fehlt, fügt der Actor automatisch https:// hinzu.
Wenn eine Seite stark in JavaScript ist und du ein Timeout siehst, setze „Warten vor dem Scrapen“ auf 2000–5000 ms und führe es erneut aus.

Verfügbare Operationen

Website scrapen

Extrahiere Inhalte von einer einzelnen URL. Ideal für Seitenebenen-Automatisierung.

constant

Standard:"scrape"

Muss “scrape” sein

string

erforderlich

Dein Olostep API-Schlüssel (Bearer)

string

erforderlich

Die zu scrapende URL (muss http:// oder https:// enthalten)

dropdown

Standard:"markdown"

Eine von: Markdown, HTML, JSON, Text

string

Optionaler Ländercode (z.B. “US”, “GB”, “CA”)

integer

Optionale Wartezeit in ms für JavaScript-Rendering (0–10000)

string

Optionale Parser-ID (z.B. “@olostep/amazon-product”)

Ausgabefelder:

id, url, status, formats
markdown_content / html_content / json_content / text_content
gehostete URLs (falls verfügbar), Seitenmetadaten

Batch-Scraping von URLs

Verarbeite viele URLs gleichzeitig mit konsistenter Formatierung und Struktur.

constant

Standard:"batch"

Muss “batch” sein

string

erforderlich

Dein Olostep API-Schlüssel

text

erforderlich

JSON-Array von Objekten mit url und optionalem custom_id
Beispiel: [{"url":"https://example.com","custom_id":"site1"}]

dropdown

Standard:"markdown"

Eine von: Markdown, HTML, JSON, Text

string

Optionaler Ländercode

integer

Optionale Wartezeit in ms für JS-Seiten

string

Optionale Parser-ID

Ausgabefelder:

batch_id, status, total_urls, created_at, formats, country, parser, urls[]

Crawl erstellen

Folge Links und scrape mehrere Seiten von einer Start-URL.

constant

Standard:"crawl"

Muss “crawl” sein

string

erforderlich

Dein Olostep API-Schlüssel

string

erforderlich

Start-URL für den Crawl

integer

Standard:"10"

Maximal zu crawlende Seiten. Setze auf 1, um nur die Start-URL zu scrapen.

dropdown

Standard:"markdown"

Eine von: Markdown, HTML, JSON, Text

string

Optionaler Ländercode

string

Optionale Parser-ID

Ausgabefelder:

crawl_id, object, status, start_url, max_pages, created, formats

Karte erstellen

Entdecke alle URLs auf einer Website und bereite sie für späteres Batch-Scraping vor.

constant

Standard:"map"

Muss “map” sein

string

erforderlich

Dein Olostep API-Schlüssel

string

erforderlich

Die zu kartierende Website

string

Optionaler Abfragefilter

integer

Begrenze die Anzahl der URLs

string

Einschlussmuster, z.B. “/products/**”

string

Ausschlussmuster, z.B. “/admin/**”

Ausgabefelder:

map_id, object, website_url, total_urls, urls[], search_query, top_n

JSON-Beispiele zum Kopieren und Einfügen (Konsole → Eingabe → JSON)

Scrape

{
  "operation": "scrape",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "url_to_scrape": "https://www.wikipedia.org",
  "formats": "markdown",
  "wait_before_scraping": 2000
}

Batch

{
  "operation": "batch",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "batch_array": "[{\"url\":\"https://example.com\",\"custom_id\":\"site1\"},{\"url\":\"https://olostep.com\",\"custom_id\":\"site2\"}]",
  "formats": "json"
}

Crawl

{
  "operation": "crawl",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "start_url": "https://docs.example.com",
  "max_pages": 50,
  "formats": "markdown"
}

Map

{
  "operation": "map",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "website_url": "https://example.com",
  "include_patterns": "/blog/**",
  "top_n": 200
}

Answers

{
  "operation": "answers",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "task": "What is the latest funding round of Olostep? Provide company, round, date, amount.",
  "json": "{\"company\":\"\",\"round\":\"\",\"date\":\"\",\"amount\":\"\"}"
}

Beispiel-Workflows

Produkte entdecken und scrapen

Karte erstellen → Einschluss “/products/**”
URLs parsen → Batch-Array erstellen
Batch-Scraping von URLs → Formate: JSON
An Google Sheets / Airtable senden

Tägliche Inhaltsüberwachung

Actor planen (täglich)
Website scrapen → Formate: Markdown
Mit LLM zusammenfassen
Benachrichtigung auf Slack

Wissensdatenbank der Wettbewerber

Crawl erstellen (Blog/Dokumente)
Ausgaben in Notion speichern
Wöchentlich mit Zeitplan aktualisieren

Spezialisierte Parser

Olostep unterstützt Parser, um Daten für beliebte Seiten zu strukturieren.

Amazon-Produkt

@olostep/amazon-product → Titel, Preis, Bewertung, Rezensionen, Bilder, Varianten

Google-Suche

@olostep/google-search → Ergebnisse, Titel, Snippets, URLs

Google Maps

@olostep/google-maps → Geschäftsinformationen, Rezensionen, Bewertungen, Standort

Weitere Parser

Entdecke E-Mail-Extraktoren, Social-Media-Handle-Finder, Kalender-Link-Extraktoren und mehr

Best Practices

Bevorzuge Batch für 3+ URLs

Schneller, günstiger, einfacher zu überwachen und respektiert Ratenlimits.

Verwende angemessene Wartezeiten

JS-lastige Seiten: erhöhe wait_before_scraping (z.B. 2000–5000ms).

Vor dem Scrapen filtern

Vermeide unnötige Aufgaben — überprüfe zuerst Änderungen, halte den Duplikationsstatus.

Große Inhalte über gehostete URLs speichern

Verwende gehostete Ausgaben, um Größenbeschränkungen für Nutzlasten in Apify-Flows zu umgehen.

Behandle asynchrone Operationen als langlaufend

Batch/Crawl/Map geben IDs zurück; später abrufen oder mit Verzögerung verketten.

Vorübergehende Timeouts sauber behandeln

Wenn du einen 504 oder vorübergehenden Timeout siehst, versucht der Actor automatisch einmal mit kurzer Wartezeit erneut.
Du kannst auch „Warten vor dem Scrapen“ auf 2000–5000 ms für JS-lastige Seiten setzen.

Fehlerbehebung

Authentifizierung fehlgeschlagen

Überprüfe den API-Schlüssel vom Dashboard
Entferne nachfolgende Leerzeichen
Erneut im Apify-Eingabeformular eingeben

Leerer Inhalt

Wartezeit erhöhen
Überprüfe, ob die URL öffentlich ist / nicht login-geschützt
Versuche ein anderes Ausgabeformat

Ratenlimit überschritten

Läufe über Zeitplan verteilen
Bevorzuge Batch für viele URLs
Upgrade des Olostep-Plans bei Bedarf

Blockierte oder dynamische Seiten

Versuche den Länderparameter
Passe Wartezeit und Parser an
Kontaktiere den Support für Anleitungen

Preisgestaltung

Olostep berechnet nach API-Nutzung (unabhängig von Apify):

Scrapes → pro Scrape
Batches → pro URL
Crawls → pro Seite
Maps → pro Operation

Siehe https://www.olostep.com/pricing.

Sicherheit

Dein API-Schlüssel wird zur Laufzeit als Bearer-Token gesendet.
Schlüssel nicht in die Versionskontrolle einbinden; Apify speichert Eingaben im Key-Value Store.
In der lokalen Entwicklung, halte Schlüssel in storage/key_value_stores/default/INPUT.json (gitignored).

Scrapes API

Extrahiere LLM-freundliches Markdown, HTML, Text oder strukturiertes JSON von jeder URL.

Batches API

Verarbeite bis zu 100k URLs gleichzeitig und rufe Ergebnisse später ab.

Crawls API

Entdecke und scrape rekursiv den Inhalt einer Website.

Maps API

Erhalte alle URLs auf einer Website, um Batch-Scrapes vorzubereiten.

Support

Apify Website

Apify-Plattform

Apify Docs

Apify-Plattform & SDK-Dokumentation

Dokumentation

Vollständige API-Dokumentation

Support-E-Mail

info@olostep.com

​Was du bauen kannst

Website scrapen

Batch-Scraping von URLs

Crawl erstellen

Karte erstellen

KI-gestützte Antworten

​Schnellstart

​1) Installiere Apify CLI

​2) Hol dir deinen Olostep API-Schlüssel

​3) Führe den Olostep Actor lokal aus

​4) Auf Apify (Cloud) bereitstellen

​In der Apify-Konsole ausführen (Schritt für Schritt)

​Verfügbare Operationen

​Website scrapen

​Batch-Scraping von URLs

​Crawl erstellen

​Karte erstellen

​JSON-Beispiele zum Kopieren und Einfügen (Konsole → Eingabe → JSON)

​Scrape

​Batch

​Crawl

​Map

​Answers

​Beispiel-Workflows

​Spezialisierte Parser

Amazon-Produkt

Google-Suche

Google Maps

Weitere Parser

​Best Practices

​Fehlerbehebung

​Preisgestaltung

​Sicherheit

​Verwandte Ressourcen

Scrapes API

Batches API

Crawls API

Maps API

​Support

Apify Website

Apify Docs

Dokumentation

Support-E-Mail

Was du bauen kannst

Schnellstart

1) Installiere Apify CLI

2) Hol dir deinen Olostep API-Schlüssel

3) Führe den Olostep Actor lokal aus

4) Auf Apify (Cloud) bereitstellen

In der Apify-Konsole ausführen (Schritt für Schritt)

Verfügbare Operationen

Website scrapen

Batch-Scraping von URLs

Crawl erstellen

Karte erstellen

JSON-Beispiele zum Kopieren und Einfügen (Konsole → Eingabe → JSON)

Scrape

Batch

Crawl

Map

Answers

Beispiel-Workflows

Spezialisierte Parser

Best Practices

Fehlerbehebung

Preisgestaltung

Sicherheit

Verwandte Ressourcen

Support