Zum Hauptinhalt springen
Parser sind eine Möglichkeit, unstrukturierte Daten in strukturierte Daten umzuwandeln, die mit deinem Backend kompatibel sind. Die Kombination von Parsern mit der Olostep API (Crawls, Scrapes, Batches) ermöglicht es, jede Website in einen API-Aufruf zu verwandeln, um das benötigte JSON zurückzugeben. Parser sind ideal, wenn du regelmäßig Daten im großen Maßstab von denselben Websites benötigst. Dieser Ansatz ist erheblich kosteneffizienter und schneller im Vergleich zur LLM-Extraktion und liefert nur das erforderliche JSON. Wir bieten vorgefertigte Parser für beliebte Websites und Anwendungsfälle an. Du kannst auch deine eigenen Parser in wenigen Minuten mit LLMs über das Dashboard erstellen oder unser Team bitten, dies für dich zu tun.
  • Endpoint: POST https://api.olostep.com/v1/scrapes (auch /v1/batches und /v1/crawls) (auth: Authorization: Bearer <YOUR_API_KEY>)
  • Erforderlich: url_to_scrape, formats: ["json"], parser: { "id": "@olostep/..." }
  • Vorgefertigte Parser-IDs: @olostep/google-search, @olostep/amazon-it-product, @olostep/extract-emails, @olostep/extract-calendars, @olostep/extract-socials
  • Batches / Crawls: Batches verwenden parser: { "id": "..." }; Crawls verwenden die ID als String in scrape_options.parser
  • Rückgabe: result.json_content (stringifiziertes JSON — parsen) und result.json_hosted_url
  • Sync oder async: Sync bei /v1/scrapes; async bei Batches und Crawls (abrufen mit GET /v1/retrieve?retrieve_id=...&formats=json)
  • Verwende stattdessen: Einmalige Seiten oder sich ändernde Layouts → LLM-Extraktion

Vorgefertigte Parser

Wir bieten mehrere vorgefertigte Parser für beliebte Websites an:
  • Google-Suche: @olostep/google-search
  • Amazon-Produkt: @olostep/amazon-it-product
  • E-Mail extrahieren: @olostep/extract-emails
  • Kalender extrahieren: @olostep/extract-calendars
  • Soziale Netzwerke extrahieren: @olostep/extract-socials
  • TikTok-Datenextraktion: Kontaktiere uns, um die Parser-ID zu erhalten
  • Google News: Kontaktiere uns, um die Parser-ID zu erhalten
  • Google Maps: Kontaktiere uns, um die Parser-ID zu erhalten

Beispielverwendung

Antwortformat

Wenn du eine Anfrage an die Olostep API mit dem Parser-Format stellst, erhältst du eine JSON-Antwort wie im folgenden Beispiel:
Die Antwort enthält:
  • Grundlegende Anfrageninformationen: id, object, created Zeitstempel, url_to_scrape
  • Ergebnisobjekt mit URLs zum Zugriff auf verschiedene Datenformate
  • json_content mit strukturierten JSON-Ergebnissen, einschließlich:
  • searchParameters: Informationen zur Suchanfrage
  • knowledgeGraph: Detaillierte Informationen zum Suchthema (falls verfügbar)
  • organic: Liste der Suchergebnisse mit Titel, Link, Position und Snippet
  • peopleAlsoAsk: Verwandte Fragen, die Benutzer häufig suchen
  • relatedSearches: Vorgeschlagene verwandte Suchanfragen
json_content ist der Hauptteil der Antwort mit den strukturierten JSON-Ergebnissen. Du kannst den JSON-Inhalt direkt aus der Antwort abrufen oder die bereitgestellte gehostete URL in der Antwort verwenden.

Strukturierte Antwort: json_content

Olostep bietet auch eine gehostete JSON-Datei mit den strukturierten Ergebnissen an. Du kannst auf die JSON-Datei über das Feld json_hosted_url in der Antwort zugreifen: Wenn du auch den HTML- und Markdown-Inhalt der Suchergebnisse erhalten möchtest, kannst du diese Formate im formats-Parameter einschließen und Olostep wird sie in der Antwort zurückgeben und gehostete URLs für jedes Format bereitstellen.

Benötigst du einen benutzerdefinierten Parser?

Wenn du einen Parser für eine bestimmte Website oder die ID eines vorgefertigten Parsers benötigst: