Naar hoofdinhoud gaan
Via de Olostep /v1/batches endpoint kun je tot 100k URL’s in één enkele batch verwerken. Een batch duurt ongeveer 5-8 minuten. Gebruik het om inhoud of gestructureerde gegevens op schaal op een asynchrone manier te extraheren.
  • Dien tot 100k URL’s per batch in
  • Een enkele batch duurt ongeveer 5–8 minuten, ongeacht de batchgrootte. Batch is een asynchrone endpoint
  • Voer veel batches parallel uit om op te schalen naar miljoenen gelijktijdige verzoeken.
  • Gebruik parsers om gestructureerde JSON terug te krijgen, of haal markdown/html op via /v1/retrieve
  • Als je resultaten met lage latentie of op een synchrone manier wilt krijgen, gebruik dan de scrape endpoint en stuur in plaats daarvan veel gelijktijdige verzoeken.
Voor API-details zie de Batch Endpoint API Reference.
Opmerking: Voor nieuwe accounts zijn batches beperkt tot 100 items per batch. Om deze beperking op te heffen, neem contact met ons op via info@olostep.com of neem contact op via Slack.

Installatie

Start een batch

Geef een array van items met een custom_id en url. Dit zijn de URL’s die in de batch worden verwerkt, de custom_id is een interne unieke identificatie voor de URL. Optioneel kun je parser of country doorgeven. Via de parser parameter kun je de parser specificeren die voor de batch moet worden gebruikt, dit zal gestructureerde JSON van de pagina’s retourneren.
Omdat Olostep een object-georiënteerde aanpak volgt, ontvang je een batch object als antwoord. Het batch object heeft een paar eigenschappen zoals id en status.

Controleer batchstatus

Poll totdat status completed is. Je kunt ook de eigenschap completed_urls controleren om te zien hoeveel URL’s zijn verwerkt.

Haal inhoud op

Gebruik de retrieve_id van elk item met /v1/retrieve om html_content, markdown_content, of json_content op te halen.

Lijst items (pagineren met cursor)

GET /v1/batches/{id}/items retourneert standaard tot 10000 items (ook het maximum). Als de respons cursor bevat, blijven er meer items over — geef die cursor door bij het volgende verzoek totdat deze afwezig is. Geef de voorkeur aan /v1/retrieve met retrieve_id voor inhoud.

Responsformaat

Wanneer je de meegeleverde voorbeeldcode uitvoert, ontvang je een antwoord zoals het volgende
Omdat we de parser hebben doorgegeven om de gestructureerde JSON op te halen en we alleen dat afdrukken, bevat de respons:
  • json_content met gestructureerde zoekresultaten inclusief:
  • searchParameters: Informatie over de zoekopdracht
  • knowledgeGraph: Gedetailleerde informatie over het zoekonderwerp (indien beschikbaar)
  • organic: Lijst van zoekresultaten met titel, link, positie en snippet
  • peopleAlsoAsk: Gerelateerde vragen die gebruikers vaak zoeken
  • relatedSearches: Voorgestelde gerelateerde zoekopdrachten
Als je niet de gestructureerde JSON wilt maar gewoon de markdown of html, kun je die ophalen van de retrieve endpoint.

Webhooks

In plaats van de batchstatus te polleren, kun je een webhook URL doorgeven wanneer je de batch aanmaakt. Olostep stuurt een HTTP POST naar die URL wanneer de batch voltooid is (alle items voltooid of mislukt). Je webhook endpoint moet openbaar bereikbaar zijn via http:// of https://. Het kan niet wijzen naar localhost of privé IP-adressen. Voor de volledige payloadvorm, retry-gedrag en best practices (snel reageren met 2xx, dedupliceren met behulp van het event id), zie Webhooks.
Parameternaam: Het canonieke veld is webhook. Voor achterwaartse compatibiliteit wordt webhook_url ook geaccepteerd als alias.
Voor batches bevat het batch.completed event de batch-id, status en itemaantallen. Mislukte leveringen worden automatisch opnieuw geprobeerd (tot 5 pogingen over ongeveer 30 minuten met exponentiële backoff). Je handler moet binnen 30 seconden per poging een 2xx status retourneren.

Metadata

Voeg aangepaste string key-value metadata toe aan batches voor tracking, filtering en het correleren van jobs met je eigen systemen (order-ID’s, projectnamen, pijplijnstadium, enzovoort). Metadata volgt dezelfde regels als in onze Metadata referentie. Je kunt metadata op twee niveaus instellen bij het aanmaken van een batch:
  • Batch-niveau — metadata op het request body (geldt voor de hele batch)
  • Item-niveau — metadata op elk object in de items array (per URL)
Metadata wordt teruggegeven bij volgende GET responses voor die batch. Je kunt batchmetadata later merge-update met Update Batch (PATCH); zie de metadata gids voor toevoegen, overschrijven en verwijdergedrag.
Type coercion: Nummers en booleans worden omgezet naar strings (bijvoorbeeld 42 → "42", true → "true"). Geneste objecten en arrays worden afgewezen.
Voor complete voorbeelden en PATCH-semantiek, zie Metadata.

Belangrijke Opmerkingen

Als je gestructureerde JSON wilt, moet je de specifieke parser naar de API sturen voordat je de verzoeken doet. Bijvoorbeeld, als je de JSON van Google Search wilt krijgen, stuur je deze parser "parser": {"id": "@olostep/google-search"} Je kunt je eigen parsers maken om de gegevens te verkrijgen die je van elke pagina wilt. Neem contact op met info@olostep.com om meer te leren.

Conclusie

De batch endpoint is nuttig als je gegevens van veel URL’s in een korte periode wilt verkrijgen. Je moet al de lijst van URL’s hebben waarvan je de gegevens wilt verkrijgen. Veelvoorkomende toepassingen kunnen zijn:
  • Prijsvolgdiensten die meerdere e-commerce sites monitoren voor prijswijzigingen op producten
  • Website monitoring tools die controleren op inhoudsupdates op talrijke pagina’s
  • Data-aggregatie voor concertorganisatoren die ticketbeschikbaarheid bijhouden op meerdere locaties
  • Zoekmachines die inhoud verzamelen en indexeren van veel websites tegelijkertijd
  • Nieuwsaggregators die artikelen verzamelen van verschillende publicaties
  • Vastgoedplatforms die vastgoedvermeldingen monitoren op meerdere sites
  • Vacaturebanken die vacatures verzamelen van bedrijfs carrièrepagina’s
  • Financiële dataservices die aandelenkoersen en marktinformatie bijhouden
  • Social media monitoring tools die vermeldingen analyseren op verschillende platforms
  • Academisch onderzoek dat gegevens verzamelt van meerdere bronnen voor analyse
Het is beter om de batch endpoint te gebruiken als je de inhoud van 100 tot 100k URL’s tegelijk wilt. Als je minder dan 50 URL’s tegelijk moet scrapen, raden we aan om de scrape endpoint te gebruiken en de URL’s parallel in te dienen, omdat dit sneller is dan de batch endpoint.

Prijzen

Batch kost 1 credit per URL.