Zum Hauptinhalt springen
POST
/
v1
/
scrapes
Starte einen Webseitenscrape
curl --request POST \
  --url https://api.olostep.com/v1/scrapes \
  --header 'Authorization: Bearer <token>' \
  --header 'Content-Type: application/json' \
  --data '
{
  "url_to_scrape": "<string>",
  "wait_before_scraping": 123,
  "formats": [],
  "actions": [
    {
      "type": "wait",
      "milliseconds": 1
    }
  ],
  "country": "<string>",
  "remove_images": false,
  "remove_class_names": [
    "<string>"
  ],
  "llm_extract": {
    "schema": {}
  },
  "links_on_page": {
    "query_to_order_links_by": "<string>",
    "include_links": [
      "<string>"
    ],
    "exclude_links": [
      "<string>"
    ]
  },
  "screen_size": {
    "screen_width": 123,
    "screen_height": 123
  },
  "screenshot": {
    "full_page": true
  },
  "metadata": {}
}
'
{
  "id": "<string>",
  "object": "<string>",
  "created": 123,
  "metadata": {},
  "url_to_scrape": "<string>",
  "result": {
    "html_content": "<string>",
    "markdown_content": "<string>",
    "text_content": "<string>",
    "json_content": "<string>",
    "screenshot_hosted_url": "<string>",
    "html_hosted_url": "<string>",
    "markdown_hosted_url": "<string>",
    "text_hosted_url": "<string>",
    "links_on_page": [
      "<string>"
    ],
    "page_metadata": {
      "status_code": 123,
      "title": "<string>"
    }
  },
  "credits_consumed": 123,
  "cost_usd": 123
}

Autorisierungen

​
Authorization
string
header
erforderlich

Bearer-Authentifizierungsheader in der Form Bearer , wobei dein Authentifizierungstoken ist.

Body

application/json
​
url_to_scrape
string<uri>
erforderlich

Die URL, von der aus das Scraping gestartet wird.

​
wait_before_scraping
integer

Wartezeit in Millisekunden, bevor der Scrape beginnt.

​
formats
enum<string>[]

Formate, in denen du den Inhalt haben möchtest.

Verfügbare Optionen:
html,
markdown,
text,
json,
raw_pdf,
screenshot
​
remove_css_selectors
enum<string>

Option, bestimmte CSS-Selektoren aus dem Inhalt zu entfernen. Optional kannst du auch ein JSON-stringifiziertes Array von spezifischen Selektoren übergeben, die du entfernen möchtest. Die CSS-Selektoren, die entfernt werden, wenn diese Option auf Standard gesetzt ist, sind ['nav','footer','script','style','noscript','svg',[role=alert],[role=banner],[role=dialog],[role=alertdialog],[role=region][aria-label*=skip i],[aria-modal=true]]

Verfügbare Optionen:
default,
none,
array
​
actions
(Warten · object | Klicken · object | Eingabe ausfüllen · object | Scrollen · object)[]

Aktionen, die auf der Seite ausgeführt werden sollen, bevor der Inhalt abgerufen wird.

​
country
string

Wohnsitzland, von dem aus die Anfrage geladen werden soll. Unterstützte Werte sind: - US (Vereinigte Staaten) - CA (Kanada) - IT (Italien) - IN (Indien) - GB (England) - JP (Japan) - MX (Mexiko) - AU (Australien) - ID (Indonesien) - UA (VAE) - RU (Russland) - RANDOM Einige Operationen, wie das Scrapen von Google Search und Google News, unterstützen alle Länder.

​
transformer
enum<string>

Gib den HTML-Transformer an, der verwendet werden soll, falls vorhanden. Die Mercury Parser-Bibliothek von Postlight wird verwendet, um Werbung und andere unerwünschte Inhalte aus dem gescrapten Inhalt zu entfernen.

Verfügbare Optionen:
postlight,
none
​
remove_images
boolean
Standard:false

Option, Bilder aus dem gescrapten Inhalt zu entfernen. Standardmäßig auf false gesetzt.

​
remove_class_names
string[]

Liste von Klassennamen, die aus dem Inhalt entfernt werden sollen.

​
parser
object

Wenn du json als Format definierst, kannst du diesen Parameter verwenden, um den zu verwendenden Parser anzugeben. Parser sind nützlich, um strukturierten Inhalt aus Webseiten zu extrahieren. Olostep hat einige Parser für die gängigsten Webseiten eingebaut, und du kannst auch deine eigenen Parser erstellen.

​
llm_extract
object
​
links_on_page
object

Mit dieser Option kannst du alle Links erhalten, die auf der Seite vorhanden sind, die du scrapst. Links werden immer als absolute URLs zurückgegeben.

​
screen_size
object

Konfiguration für Bildschirmgröße. Voreingestellte Abmessungen sind über screen_type verfügbar: desktop (1920x1080), mobile (414x896) oder default (768x1024).

​
screenshot
object
​
metadata
object

Benutzerdefinierte Metadaten. Noch nicht unterstützt.

Antwort

Erfolgreiche Antwort mit den Details zur Einleitung des Scrapes.

​
id
string

Scrape-ID

​
object
string

Die Art des Objekts. "scrape" für diesen Endpunkt.

​
created
number

Erstellte Epoche

​
metadata
object

Benutzerdefinierte Metadaten.

​
url_to_scrape
string

Die URL, die gescraped wurde.

​
result
object
​
credits_consumed
integer | null

Anzahl der durch diese Anfrage verbrauchten Credits. Wird nach Abschluss der Ausführung ausgefüllt. Credits sind die Grundlage für die Abrechnung.

​
cost_usd
number | null

Geschätzte Kosten in USD für diese Anfrage. Wird nach Abschluss der Ausführung ausgefüllt. Berechnet aus den verbrauchten Credits und deinem Tarif — 99% genau, aber credits_consumed ist der maßgebliche Wert.