Skip to main content
Via het Olostep /v1/batches eindpunt kun je tot 10k URL’s in één enkele batch verwerken. Een batch duurt ongeveer 5-8 minuten. Gebruik het om inhoud of gestructureerde data op schaal op een asynchrone manier te extraheren.
  • Dien tot 10k URL’s per batch in
  • Een enkele batch duurt ongeveer 5–8 minuten, ongeacht de batchgrootte. Batch is een asynchroon eindpunt
  • Voer veel batches parallel uit om op te schalen naar miljoenen gelijktijdige verzoeken.
  • Gebruik parsers om gestructureerde JSON terug te geven, of haal markdown/html op via /v1/retrieve
  • Als je resultaten met lage latentie of op een synchrone manier wilt krijgen, gebruik dan het scrape eindpunt en stuur in plaats daarvan veel gelijktijdige verzoeken.
Voor API-details zie de Batch Eindpunt API Referentie.
Opmerking: Voor nieuwe accounts zijn batches beperkt tot 100 items per batch. Om deze beperking op te heffen, neem contact met ons op via info@olostep.com of bereik ons op Slack.

Installatie

Start een batch

Voorzie een array van items met een custom_id en url. Dit zijn de URL’s die in de batch verwerkt zullen worden, de custom_id is een interne unieke identificatie voor de URL. Optioneel kun je parser of country doorgeven. Via de parser parameter kun je de parser specificeren die je voor de batch wilt gebruiken, dit zal gestructureerde JSON van de pagina’s teruggeven.
Aangezien Olostep een objectgeoriënteerde benadering volgt, ontvang je een batch object als antwoord. Het batch object heeft enkele eigenschappen zoals id en status.

Controleer batchstatus

Poll totdat status completed is. Je kunt ook de eigenschap completed_urls controleren om te zien hoeveel URL’s zijn verwerkt.

Inhoud ophalen

Gebruik de retrieve_id van elk item met /v1/retrieve om html_content, markdown_content, of json_content op te halen.

Items lijst (pagineren met cursor)

Haal items op met behulp van cursor en limit. Gebruik bij voorkeur /v1/retrieve met retrieve_id voor inhoud.

Responsformaat

Wanneer je de meegeleverde voorbeeldcode uitvoert, ontvang je een antwoord zoals het volgende
Aangezien we de parser hebben doorgegeven om de gestructureerde JSON op te halen en we alleen dat afdrukken, bevat de respons:
  • json_content met gestructureerde zoekresultaten inclusief:
  • searchParameters: Informatie over de zoekopdracht
  • knowledgeGraph: Gedetailleerde informatie over het zoekonderwerp (indien beschikbaar)
  • organic: Lijst met zoekresultaten met titel, link, positie en snippet
  • peopleAlsoAsk: Gerelateerde vragen die gebruikers vaak zoeken
  • relatedSearches: Voorgestelde gerelateerde zoekopdrachten
Als je niet de gestructureerde JSON wilt maar simpelweg de markdown of html, kun je die ophalen via het retrieve eindpunt.

Webhooks

In plaats van de batchstatus te polleren, kun je een webhook URL doorgeven wanneer je de batch aanmaakt. Olostep stuurt een HTTP POST naar die URL wanneer de batch klaar is (alle items voltooid of mislukt). Je webhook eindpunt moet openbaar bereikbaar zijn via http:// of https://. Het kan niet wijzen naar localhost of privé IP-adressen. Voor de volledige payloadvorm, retry-gedrag en best practices (snel reageren met 2xx, dedupliceren met behulp van het event id), zie Webhooks.
Parameternaam: Het canonieke veld is webhook. Voor achterwaartse compatibiliteit wordt webhook_url ook geaccepteerd als alias.
Voor batches bevat het batch.completed event de batch id, status en itemtellingen. Mislukte leveringen worden automatisch opnieuw geprobeerd (tot 5 pogingen over ongeveer 30 minuten met exponentiële backoff). Je handler moet binnen 30 seconden per poging een 2xx status retourneren.

Metadata

Voeg aangepaste string key-value metadata toe aan batches voor tracking, filtering en het correleren van taken met je eigen systemen (order-ID’s, projectnamen, pijplijnstadium, enzovoort). Metadata volgt dezelfde regels als in onze Metadata referentie. Je kunt metadata op twee niveaus instellen bij het aanmaken van een batch:
  • Batch-niveaumetadata op de request body (geldt voor de hele batch)
  • Item-niveaumetadata op elk object in de items array (per URL)
Metadata wordt teruggegeven bij volgende GET reacties voor die batch. Je kunt batch metadata later merge-update met Update Batch (PATCH); zie de metadata gids voor toevoegen, overschrijven en verwijderen gedrag.
Type coercion: Nummers en booleans worden omgezet naar strings (bijvoorbeeld 42"42", true"true"). Geneste objecten en arrays worden afgewezen.
Voor volledige voorbeelden en PATCH semantiek, zie Metadata.

Belangrijke Opmerkingen

Als je gestructureerde JSON wilt, moet je de specifieke parser naar de API sturen voordat je de verzoeken doet. Bijvoorbeeld, als je de JSON van Google Search wilt krijgen, stuur je deze parser "parser": {"id": "@olostep/google-search"} Je kunt je eigen parsers maken om de data die je wilt van elke pagina op te halen. Neem contact op met info@olostep.com om meer te leren.

Conclusie

Het batch eindpunt is nuttig als je data van veel URL’s in een korte tijd wilt krijgen. Je moet al de lijst met URL’s hebben waarvan je de data wilt krijgen. Veelvoorkomende toepassingen kunnen zijn:
  • Prijsvolgdiensten die meerdere e-commerce sites monitoren voor prijswijzigingen op producten
  • Website monitoring tools die controleren op inhoudsupdates op talrijke pagina’s
  • Data-aggregatie voor concertorganisatoren die ticketbeschikbaarheid bijhouden over meerdere locaties
  • Zoekmachines die inhoud verzamelen en indexeren van veel websites tegelijkertijd
  • Nieuwsaggregators die artikelen verzamelen van verschillende publicaties
  • Vastgoedplatforms die vastgoedvermeldingen monitoren over meerdere sites
  • Vacaturebanken die vacatures verzamelen van bedrijfscarrièrepagina’s
  • Financiële dataservices die aandelenkoersen en marktinformatie bijhouden
  • Social media monitoring tools die vermeldingen analyseren over verschillende platforms
  • Academisch onderzoek dat data verzamelt van meerdere bronnen voor analyse
Het is beter om het batch eindpunt te gebruiken als je de inhoud van 100 tot 10k URL’s tegelijk wilt. Als je minder dan 50 URL’s tegelijk moet scrapen, raden we aan het scrape eindpunt te gebruiken en de URL’s parallel in te dienen omdat dit sneller is dan het batch eindpunt.

Prijsstelling

Batch kost 1 credit per URL.