Zum Hauptinhalt springen
Über den Olostep /v1/scrapes Endpunkt kannst du LLM-freundliches Markdown, HTML, Text, Screenshots oder strukturiertes JSON in Echtzeit aus jeder URL extrahieren.
  • Gibt sauberes Markdown, strukturierte Daten, Screenshots oder HTML aus
  • Extrahiere JSON über Parsers oder LLM-Extraktion
  • Handhabt dynamische Inhalte: JS-gerenderte Seiten, Login-Flows über Aktionen, PDFs
Für API-Details siehe die Scrape Endpoint API Referenz.

​
Eine URL scrapen

Verwende den /v1/scrapes Endpunkt, um eine einzelne URL zu scrapen und Ausgabeformate auszuwählen.

​
Installation

pip install olostep

​
Verwendung

Du kannst den Endpunkt verwenden, um eine einzelne URL zu scrapen und Ausgabeformate auszuwählen. Die obligatorischen Parameter sind url_to_scrape und formats. Einige andere häufige Parameter sind wait_before_scraping (in Millisekunden), remove_css_selectors (standardmäßig keine oder ein Array von Selektoren) und country. 
from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

result = client.scrapes.create(
    url_to_scrape="https://en.wikipedia.org/wiki/Alexander_the_Great",
    formats=["markdown", "html"],
)

print(result.markdown_content)
print(result.html_content)

​
Antwort

Die API gibt ein scrape Objekt als Antwort zurück. Das scrape hat einige Eigenschaften wie id und result. Das result Objekt hat die folgenden Felder (je nach formats Parameter können einige null sein):
  • html_content: der HTML-Inhalt der Seite. Gib formats: ["html"] an, um dies zu erhalten.
  • markdown_content: der MD-Inhalt der Seite. Gib formats: ["markdown"] an, um dies zu erhalten.
  • text_content: der Textinhalt der Seite. Gib formats: ["text"] an, um dies zu erhalten.
  • json_content: der JSON-Inhalt der Seite. Gib formats: ["json"] an, um dies zu erhalten, und stelle auch einen parser oder llm_extract Parameter bereit.
  • screenshot_hosted_url: die gehostete URL des Screenshots.
  • html_hosted_url: die gehostete URL des HTML-Inhalts
  • markdown_hosted_url: die gehostete URL des Markdown-Inhalts
  • json_hosted_url: die gehostete URL des JSON-Inhalts
  • text_hosted_url: die gehostete URL des Textinhalts
  • links_on_page: die Links auf der Seite
  • page_metadata: die Metadaten der Seite
{
  "id": "scrape_6h89o8u1kt",
  "object": "scrape",
  "created": 1745673871,
  "metadata": {},
  "retrieve_id": "6h89o8u1kt",
  "url_to_scrape": "https://en.wikipedia.org/wiki/Alexander_the_Great",
  "result": {
    "html_content": "<html...",
    "markdown_content": "## Alexander the Great...",
    "text_content": null,
    "json_content": null,
    "screenshot_hosted_url": null,
    "html_hosted_url": "https://olostep-storage.s3.us-east-1.amazonaws.com/text_6h89o8u1kt.txt",
    "markdown_hosted_url": "https://olostep-storage.s3.us-east-1.amazonaws.com/markDown_6h89o8u1kt.txt",
    "json_hosted_url": null,
    "text_hosted_url": null,
    "links_on_page": [],
    "page_metadata": { "status_code": 200, "title": "" }
  }
}

​
Scrape-Formate

Wähle ein oder mehrere Ausgabeformate über formats:
  • markdown: LLM-freundliches Markdown
  • html: bereinigtes HTML
  • text: Klartext
  • json: strukturiertes Ausgabeformat (über Parser oder llm_extract)
  • raw_pdf: rohe PDF-Bytes, die zu einer gehosteten URL extrahiert werden
  • screenshot: über Aktionen festgelegt, um einen Screenshot zu erstellen und eine gehostete URL zurückzugeben
Ausgabeschlüssel werden innerhalb von result als *_content Felder und eine *_hosted_url zurückgegeben.

​
Strukturierte Daten extrahieren

Du kannst strukturiertes JSON auf zwei Arten extrahieren: mit Parsers oder LLM-Extraktion.

​
Einen Parser verwenden (empfohlen für Skalierung)

Definiere formats: ["json"] und stelle eine Parser id bereit. 
from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

result = client.scrapes.create(
    url_to_scrape="https://www.google.com/search?q=alexander+the+great&gl=us&hl=en",
    formats=["json"],
    parser="@olostep/google-search",
)

print(result.json_content)
Olostep hat einige vorgefertigte Parser für beliebte Websites, aber du kannst auch deine eigenen Parser über das Dashboard erstellen oder unser Team bitten, dies für dich zu tun. Parser sind selbstheilend und aktualisieren sich selbst auf die neueste Version der Website.

​
LLM-Extraktion verwenden (Schema und/oder Prompt)

Stelle llm_extract mit einem JSON-Schema (schema) und/oder einer natürlichen Sprachinstruktion (prompt) bereit. Du kannst beide Parameter übergeben, aber wenn beide bereitgestellt werden, hat schema Vorrang. Wenn du stattdessen nur einen prompt übergibst, wird das LLM die Daten basierend auf dem Prompt extrahieren und die Datenstruktur selbst bestimmen. 
from olostep import LLMExtract, Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

result = client.scrapes.create(
    url_to_scrape="https://www.berklee.edu/events/stefano-marchese-friends",
    formats=["markdown", "json"],
    llm_extract=LLMExtract(
        schema={
            "event": {
                "type": "object",
                "properties": {
                    "title": {"type": "string"},
                    "date": {"type": "string"},
                    "description": {"type": "string"},
                    "venue": {"type": "string"},
                    "address": {"type": "string"},
                    "start_time": {"type": "string"},
                },
            }
        }
    ),
)

print(result.json_content)
Hinweis: result.json_content gibt ein stringifiziertes JSON zurück. Parsen es in deinem Code, wenn du ein Objekt benötigst.

​
Mit der Seite über Aktionen interagieren

Führe Aktionen vor dem Scraping aus, um mit dynamischen Seiten zu interagieren. Unterstützte Aktionen:
  • wait mit milliseconds
  • click mit selector
  • fill_input mit selector und value
  • scroll mit direction und amount
Es ist oft nützlich, wait vor/nach anderen Aktionen zu verwenden, um der Seite Zeit zum Laden zu geben.

​
Beispiel

from olostep import FillInputAction, Olostep, WaitAction

client = Olostep(api_key="YOUR_REAL_KEY")

result = client.scrapes.create(
    url_to_scrape="https://example.com/login",
    formats=["markdown"],
    actions=[
        FillInputAction(selector="input[type=email]", value="john@example.com"),
        WaitAction(milliseconds=500),
        FillInputAction(selector="input[type=password]", value="secret"),
        {"type": "click", "selector": "button[type=\"submit\"]"},
        WaitAction(milliseconds=1500),
    ],
)

print(result.markdown_content)
Die Antwort wird alle angeforderten Formate enthalten (z.B. markdown_content).

​
Anwendungsfälle

Nachfolgend sind einige praktische Anwendungen von Kunden aufgeführt, die den /scrapes Endpunkt nutzen.

​
Inhaltsanalyse & Forschung

  • Wettbewerbsanalyse: Extrahiere Produktdetails, Preise und Funktionen von Wettbewerber-Websites
  • Marktforschung: Analysiere Landingpages, Produktbeschreibungen und Kundenrezensionen
  • Akademische Forschung: Sammle spezifische Daten aus wissenschaftlichen Publikationen oder Forschungsportalen
  • Rechtsdokumentation: Extrahiere Fallstudien, Vorschriften oder rechtliche Präzedenzfälle von offiziellen Websites

​
E-Commerce & Einzelhandel

  • Dynamische Preisstrategien: Erhalte Echtzeit-Produktpreise von konkurrierenden Geschäften
  • Produktinformationsmanagement: Extrahiere detaillierte Spezifikationen und Beschreibungen
  • Lager-/Inventarüberwachung: Überprüfe die Produktverfügbarkeit bei anderen Einzelhändlern
  • Bewertungsanalyse: Sammle Verbraucherfeedback und Stimmungen für bestimmte Produkte

​
Marketing & Content-Erstellung

  • Content-Kuration: Extrahiere relevante Artikel und Blogposts für Newsletter
  • SEO-Analyse: Untersuche die Keyword-Nutzung, Meta-Beschreibungen und Seitenstruktur von Wettbewerbern
  • Lead-Generierung: Extrahiere Kontaktinformationen aus Unternehmensverzeichnissen oder Firmenwebseiten
  • Influencer-Forschung: Sammle Engagement-Metriken und Content-Stile von Influencer-Profilen
  • Personalisierte Social-Media-Generierung: Erstelle KI-gestützte Social-Media-Marketing durch Analyse von Kundenwebsites

​
Datenanwendungen

  • AI-Trainingsdatensammlung: Sammle spezifische Beispiele für maschinelle Lernmodelle
  • Benutzerdefinierte Wissensdatenbank-Erstellung: Extrahiere Dokumentationen oder Anleitungen von Softwareseiten
  • Historische Datenarchive: Bewahre Website-Inhalte zu bestimmten Zeitpunkten
  • Strukturierte Datenextraktion: Transformiere Webinhalte in formatierte Datensätze zur Analyse

​
Überwachung & Benachrichtigungen

  • Überwachung der Einhaltung gesetzlicher Vorschriften: Verfolge Änderungen auf rechtlichen oder regulatorischen Websites
  • Krisenmanagement: Überwache Nachrichtenseiten auf Erwähnungen bestimmter Ereignisse oder Organisationen
  • Ereignisverfolgung: Extrahiere Details zu bevorstehenden Veranstaltungen von Veranstaltungsorten oder Organisator-Websites
  • Überwachung des Dienststatus: Überprüfe Dienststatusseiten für spezifische Plattformen oder Tools

​
Veröffentlichung & Medien

  • Nachrichtenaggregation: Extrahiere aktuelle Nachrichten aus offiziellen Quellen
  • Medienüberwachung: Verfolge spezifische Themen auf Nachrichtenseiten
  • Inhaltsverifizierung: Extrahiere Informationen zur Überprüfung von Behauptungen oder Aussagen
  • Multimedia-Extraktion: Sammle eingebettete Videos, Bilder oder Audio für Medienbibliotheken

​
Finanzanwendungen

  • Investmentforschung: Extrahiere Finanzberichte oder Jahresberichte von Unternehmenswebsites
  • Wirtschaftsindikatoren: Sammle Wirtschaftsdaten von Regierungs- oder Finanzinstitutionswebsites
  • Kryptowährungsdaten: Extrahiere Echtzeit-Preise und Marktkapitalisierungsinformationen
  • Finanznachrichtenanalyse: Überwache Finanznachrichtenseiten auf spezifische Marktsignale

​
Technische Anwendungen

  • API-Dokumentationsextraktion: Sammle technische Dokumentationen zur Referenz
  • Integrationstests: Extrahiere Website-Elemente zur Überprüfung von Drittanbieter-Integrationen
  • Barrierefreiheitstests: Analysiere die Website-Struktur auf Einhaltung von Barrierefreiheitsstandards
  • Webarchiverstellung: Erfasse vollständige Website-Inhalte zur historischen Bewahrung

​
Integrationsszenarien

  • CRM-Systeme: Ergänze Kundenprofile mit Daten von Unternehmenswebsites oder LinkedIn
  • Content-Management-Systeme: Importiere relevante externe Inhalte
  • Business-Intelligence-Tools: Ergänze interne Daten mit externen Marktinformationen
  • Projektmanagement-Software: Extrahiere Spezifikationen oder Anforderungen von Kundenwebsites
  • Benutzerdefinierte Dashboards: Zeige extrahierte Daten neben internen Metriken an

​
Preisgestaltung

Scrape kostet standardmäßig 1 Credit. Wenn du auch parsers verwendest, variieren die Kosten je nach Parser (1-5 Credits). Wenn du LLM extract verwendest, kostet es 20 Credits.