Scrape eine URL mit der bereitgestellten Konfiguration und erhalte den Inhalt.
Bearer-Authentifizierungsheader in der Form Bearer
Die URL, von der aus das Scraping gestartet werden soll.
Zeit in Millisekunden, die gewartet werden soll, bevor das Scraping beginnt.
Formate, in denen du den Inhalt haben möchtest.
html, markdown, text, json, raw_pdf, screenshot Option, bestimmte CSS-Selektoren aus dem Inhalt zu entfernen. Optional kannst du auch ein JSON-stringifiziertes Array von spezifischen Selektoren übergeben, die du entfernen möchtest. Die CSS-Selektoren, die entfernt werden, wenn diese Option auf Standard gesetzt ist, sind ['nav','footer','script','style','noscript','svg',[role=alert],[role=banner],[role=dialog],[role=alertdialog],[role=region][aria-label*=skip i],[aria-modal=true]]
default, none, array Aktionen, die auf der Seite ausgeführt werden sollen, bevor der Inhalt abgerufen wird.
Wohnsitzland, aus dem die Anfrage geladen werden soll. Unterstützte Werte sind: - US (Vereinigte Staaten) - CA (Kanada) - IT (Italien) - IN (Indien) - GB (England) - JP (Japan) - MX (Mexiko) - AU (Australien) - ID (Indonesien) - UA (VAE) - RU (Russland) - RANDOM Einige Operationen, wie das Scraping von Google Search und Google News, unterstützen alle Länder.
Gib den HTML-Transformer an, der verwendet werden soll, falls vorhanden. Die Mercury Parser-Bibliothek von Postlight wird verwendet, um Werbung und andere unerwünschte Inhalte aus dem gescrapten Inhalt zu entfernen.
postlight, none Option, Bilder aus dem gescrapten Inhalt zu entfernen. Standardmäßig auf false gesetzt.
Liste von Klassennamen, die aus dem Inhalt entfernt werden sollen.
Wenn du json als Format definierst, kannst du diesen Parameter verwenden, um den zu verwendenden Parser anzugeben. Parser sind nützlich, um strukturierten Inhalt aus Webseiten zu extrahieren. Olostep hat einige Parser für die gängigsten Webseiten eingebaut, und du kannst auch deine eigenen Parser erstellen.
Mit dieser Option kannst du alle Links erhalten, die auf der Seite vorhanden sind, die du scrapest.
Konfiguration für Bildschirmgröße. Voreingestellte Abmessungen sind über screen_type verfügbar: desktop (1920x1080), mobile (414x896) oder default (768x1024).
Benutzerdefinierte Metadaten. Noch nicht unterstützt.