Scrape een URL met de opgegeven configuratie en verkrijg inhoud.
Bearer authenticatie header in de vorm Bearer
De URL om het scrapen te starten.
Tijd om te wachten in milliseconden voordat de scraping begint.
Formaten waarin je de inhoud wilt.
html, markdown, text, json, raw_pdf, screenshot Optie om bepaalde CSS-selectors uit de inhoud te verwijderen. Optioneel kun je ook een JSON-stringified array van specifieke selectors doorgeven die je wilt verwijderen. De CSS-selectors die worden verwijderd wanneer deze optie is ingesteld op standaard zijn ['nav','footer','script','style','noscript','svg',[role=alert],[role=banner],[role=dialog],[role=alertdialog],[role=region][aria-label*=skip i],[aria-modal=true]]
default, none, array Acties om uit te voeren op de pagina voordat de inhoud wordt verkregen.
Woonland van waaruit het verzoek moet worden geladen. Ondersteunde waarden zijn: - US (Verenigde Staten) - CA (Canada) - IT (Italië) - IN (India) - GB (Engeland) - JP (Japan) - MX (Mexico) - AU (Australië) - ID (Indonesië) - UA (VAE) - RU (Rusland) - RANDOM Sommige operaties, zoals het scrapen van Google Search en Google News, ondersteunen alle landen.
Specificeer de HTML-transformer die je wilt gebruiken, indien van toepassing. Postlight's Mercury Parser-bibliotheek wordt gebruikt om advertenties en andere ongewenste inhoud uit de gescrapete inhoud te verwijderen.
postlight, none Optie om afbeeldingen uit de gescrapete inhoud te verwijderen. Standaard is false.
Lijst van class-namen om uit de inhoud te verwijderen.
Wanneer je json als formaat definieert, kun je deze parameter gebruiken om de parser te specificeren die je wilt gebruiken. Parsers zijn nuttig om gestructureerde inhoud uit webpagina's te halen. Olostep heeft een paar ingebouwde parsers voor de meest voorkomende webpagina's, en je kunt ook je eigen parsers maken.
Met deze optie kun je alle links krijgen die aanwezig zijn op de pagina die je scrapt.
Configuratie voor schermgrootte. Vooraf ingestelde afmetingen zijn beschikbaar via screen_type: desktop (1920x1080), mobile (414x896), of default (768x1024).
Door de gebruiker gedefinieerde metadata. Nog niet ondersteund.