Zum Hauptinhalt springen
POST
Eine Webseitenscrape initiieren
Optionale Zwischenspeicherung: Übergebe max_age (in Sekunden), um ein kürzliches Scrape mit denselben Parametern wiederzuverwenden, anstatt die Seite erneut abzurufen. Standardmäßig auf 0 (immer frisch). Im Dashboard-Playground beträgt der Standard 24 Stunden. Siehe Caching für Details.
Ergebnisaufbewahrung: Übergebe storage.expires_in, um ein Scrape länger als die Standarddauer von etwa 7 Tagen aufzubewahren. Werte: 10d, 30d, 60d, 90d, 180d, 365d oder never. Siehe Speicherung für Details.

Autorisierungen

Authorization
string
header
erforderlich

Bearer-Authentifizierungs-Header in der Form Bearer , wobei dein Authentifizierungs-Token ist.

Body

application/json
url_to_scrape
string<uri>
erforderlich

Die URL, von der aus das Scraping gestartet werden soll.

wait_before_scraping
integer

Wartezeit in Millisekunden, bevor das Scraping beginnt.

formats
enum<string>[]

Formate, in denen du den Inhalt haben möchtest.

Verfügbare Optionen:
html,
markdown,
text,
json,
raw_pdf,
screenshot
remove_css_selectors
enum<string>

Option, bestimmte CSS-Selektoren aus dem Inhalt zu entfernen. Optional kannst du auch ein JSON-stringifiziertes Array von spezifischen Selektoren übergeben, die du entfernen möchtest. Die CSS-Selektoren, die entfernt werden, wenn diese Option auf Standard gesetzt ist, sind ['nav','footer','script','style','noscript','svg',[role=alert],[role=banner],[role=dialog],[role=alertdialog],[role=region][aria-label*=skip i],[aria-modal=true]]

Verfügbare Optionen:
default,
none,
array
actions
(Warten · object | Klicken · object | Eingabe ausfüllen · object | Scrollen · object)[]

Aktionen, die auf der Seite ausgeführt werden sollen, bevor der Inhalt abgerufen wird.

country
string

Wohnsitzland, von dem aus die Anfrage geladen wird. Unterstützte Werte sind: - US (Vereinigte Staaten) - CA (Kanada) - IT (Italien) - IN (Indien) - GB (England) - JP (Japan) - MX (Mexiko) - AU (Australien) - ID (Indonesien) - UA (VAE) - RU (Russland) - RANDOM Einige Operationen, wie das Scraping von Google Search und Google News, unterstützen alle Länder.

transformer
enum<string>

Gib den HTML-Transformer an, der verwendet werden soll, falls vorhanden. Die Mercury Parser-Bibliothek von Postlight wird verwendet, um Anzeigen und andere unerwünschte Inhalte aus dem gescrapten Inhalt zu entfernen.

Verfügbare Optionen:
postlight,
none
remove_images
boolean
Standard:false

Option, Bilder aus dem gescrapten Inhalt zu entfernen. Standardmäßig auf false gesetzt.

remove_class_names
string[]

Liste von Klassennamen, die aus dem Inhalt entfernt werden sollen.

parser
object

Wenn du json als Format definierst, kannst du diesen Parameter verwenden, um den zu verwendenden Parser anzugeben. Parser sind nützlich, um strukturierten Inhalt aus Webseiten zu extrahieren. Olostep hat einige Parser für die gängigsten Webseiten eingebaut, und du kannst auch deine eigenen Parser erstellen.

llm_extract
object

Mit dieser Option kannst du alle Links erhalten, die auf der Seite vorhanden sind, die du scrapst. Links werden immer als absolute URLs zurückgegeben.

screen_size
object

Konfiguration für Bildschirmgröße. Voreingestellte Abmessungen sind über screen_type verfügbar: desktop (1920x1080), mobile (414x896) oder default (768x1024).

screenshot
object
metadata
object

Benutzerdefinierte Metadaten. Noch nicht unterstützt.

max_age
integer
Standard:0

Maximales akzeptables Alter des zwischengespeicherten Inhalts in Sekunden. Wenn ein passender Scrape bereits existiert und neuer als max_age Sekunden ist, gibt Olostep das gespeicherte Ergebnis zurück, anstatt einen neuen Browser-Scrape zu starten. Standardmäßig 0 (immer frisch scrapen). Im Dashboard-Playground ist der Standard 86400 (24 Stunden). Der maximal erlaubte Wert ist 604800 (7 Tage). Siehe den Abschnitt Caching in den Scrapes-Feature-Dokumenten für Details.

Erforderlicher Bereich: x >= 0
storage
object

Bestimmt, wie lange das Ergebnis dieses Scrapes aufbewahrt wird. Wenn weggelassen, werden Ergebnisse etwa 7 Tage lang aufbewahrt. Das Ergebnis, gehostete URLs und GET /v1/scrapes/{scrape_id} bleiben während des Aufbewahrungszeitraums verfügbar. Dies ist getrennt von max_age, das die Cache-Frische steuert. Siehe den Abschnitt Storage in den Scrapes-Feature-Dokumenten für Details.

Antwort

Erfolgreiche Antwort mit den Details zur Scrape-Initiierung.

id
string

Scrape-ID

object
string

Die Art des Objekts. "scrape" für diesen Endpunkt.

created
number

Erstellte Epoche

metadata
object

Benutzerdefinierte Metadaten.

url_to_scrape
string

Die URL, die gescrapt wurde.

result
object
credits_consumed
integer | null

Anzahl der durch diese Anfrage verbrauchten Credits. Wird nach Abschluss der Ausführung ausgefüllt. Credits sind die Grundlage für die Abrechnung.

cost_usd
number | null

Geschätzte Kosten in USD für diese Anfrage. Wird nach Abschluss der Ausführung ausgefüllt. Berechnet aus den verbrauchten Credits und deinem Tarif — 99% genau, aber credits_consumed ist der maßgebliche Wert.