Skip to main content
Attraverso l’endpoint Olostep /v1/batches puoi elaborare fino a 10k URL in un unico batch. Un batch impiega circa 5-8 minuti. Usalo per estrarre contenuti o dati strutturati su larga scala in modo asincrono.
  • Invia fino a 10k URL per batch
  • Un singolo batch impiega circa 5–8 minuti, indipendentemente dalla dimensione del batch. Batch è un endpoint asincrono
  • Esegui molti batch in parallelo per scalare a milioni di richieste simultanee.
  • Usa i parser per restituire JSON strutturato, o recupera markdown/html tramite /v1/retrieve
  • Se desideri ottenere risultati con bassa latenza o in modo sincrono, utilizza l’endpoint scrape e invia molte richieste simultanee.
Per i dettagli dell’API, consulta la Riferimento API Endpoint Batch.
Nota: Per i nuovi account, i batch sono limitati a 100 elementi per batch. Per rimuovere questa limitazione, contattaci a info@olostep.com o raggiungici su Slack.

Installazione

Avvia un batch

Fornisci un array di items con un custom_id e url. Questi sono gli URL che verranno elaborati nel batch, il custom_id è un identificatore unico interno per l’URL. Facoltativamente, passa parser o country. Tramite il parametro parser puoi specificare il parser da utilizzare per il batch, questo restituirà JSON strutturato dalle pagine.
Poiché Olostep segue un approccio orientato agli oggetti, riceverai un oggetto batch in risposta. L’oggetto batch ha alcune proprietà come id e status.

Controlla lo stato del batch

Interroga fino a quando status è completed. Puoi anche controllare la proprietà completed_urls per vedere quanti URL sono stati elaborati.

Recupera contenuto

Usa il retrieve_id di ciascun elemento con /v1/retrieve per recuperare html_content, markdown_content o json_content.

Elenca elementi (paginazione con cursore)

Recupera elementi usando cursor e limit. Preferisci usare /v1/retrieve con retrieve_id per il contenuto.

Formato di Risposta

Quando esegui il codice di esempio fornito, riceverai una risposta simile alla seguente
Poiché abbiamo passato il parser per recuperare il JSON strutturato e stiamo stampando solo quello, la risposta contiene:
  • json_content con risultati di ricerca strutturati inclusi:
  • searchParameters: Informazioni sulla query di ricerca
  • knowledgeGraph: Informazioni dettagliate sul soggetto della ricerca (quando disponibili)
  • organic: Elenco dei risultati di ricerca con titolo, link, posizione e snippet
  • peopleAlsoAsk: Domande correlate che gli utenti cercano comunemente
  • relatedSearches: Suggerimenti di ricerche correlate
Se non vuoi il JSON strutturato ma semplicemente il markdown o l’html puoi recuperarli dall’endpoint retrieve.

Webhook

Invece di interrogare lo stato del batch, puoi passare un URL webhook quando crei il batch. Olostep invia un HTTP POST a quell’URL quando il batch termina (tutti gli elementi completati o falliti). Il tuo endpoint webhook deve essere pubblicamente raggiungibile su http:// o https://. Non può puntare a localhost o indirizzi IP privati. Per la forma completa del payload, il comportamento di ritentativo e le migliori pratiche (rispondi rapidamente con 2xx, deduplica usando l’evento id), consulta Webhook.
Nome del parametro: Il campo canonico è webhook. Per compatibilità con le versioni precedenti, webhook_url è accettato anche come alias.
Per i batch, l’evento batch.completed include l’id del batch, lo stato e il conteggio degli elementi. Le consegne fallite vengono ritentate automaticamente (fino a 5 tentativi in circa 30 minuti con backoff esponenziale). Il tuo handler deve restituire uno stato 2xx entro 30 secondi per tentativo.

Metadata

Allega metadati personalizzati stringa chiave-valore ai batch per tracciamento, filtraggio e correlazione dei lavori con i tuoi sistemi (ID ordini, nomi di progetti, fase della pipeline, e così via). I metadati seguono le stesse regole della nostra Riferimento Metadata. Puoi impostare i metadati a due livelli quando crei un batch:
  • Livello Batchmetadata sul corpo della richiesta (si applica all’intero batch)
  • Livello Elementometadata su ogni oggetto nell’array items (per URL)
I metadati sono restituiti nelle risposte GET successive per quel batch. Puoi aggiornare-unire i metadati del batch successivamente con Aggiorna Batch (PATCH); consulta la guida ai metadati per il comportamento di aggiunta, sovrascrittura e cancellazione.
Coercizione di tipo: Numeri e booleani sono convertiti in stringhe (ad esempio 42"42", true"true"). Oggetti e array annidati sono rifiutati.
Per esempi completi e semantica PATCH, consulta Metadata.

Note Importanti

Se vuoi JSON strutturato devi passare il parser specifico all’API prima di effettuare le richieste. Ad esempio, se vuoi ottenere il JSON da Google Search devi passare questo parser "parser": {"id": "@olostep/google-search"} Puoi creare i tuoi parser per recuperare i dati che desideri da qualsiasi pagina. Contatta info@olostep.com per saperne di più.

Conclusione

L’endpoint batch è utile se hai bisogno di ottenere dati da molti URL in un breve periodo di tempo. Devi già avere l’elenco degli URL da cui vuoi ottenere i dati. Applicazioni comuni possono essere:
  • Servizi di monitoraggio dei prezzi che controllano più siti di e-commerce per variazioni di prezzo sui prodotti
  • Strumenti di monitoraggio dei siti web che controllano aggiornamenti di contenuto su numerose pagine
  • Aggregazione di dati per organizzatori di concerti che tracciano la disponibilità dei biglietti su più sedi
  • Motori di ricerca che raccolgono e indicizzano contenuti da molti siti web contemporaneamente
  • Aggregatori di notizie che raccolgono articoli da varie pubblicazioni
  • Piattaforme immobiliari che monitorano annunci di proprietà su più siti
  • Bacheche di lavoro che aggregano offerte di lavoro dalle pagine delle carriere aziendali
  • Servizi di dati finanziari che tracciano i prezzi delle azioni e le informazioni di mercato
  • Strumenti di monitoraggio dei social media che analizzano le menzioni su diverse piattaforme
  • Ricerca accademica che raccoglie dati da più fonti per l’analisi
È meglio usare l’endpoint batch se vuoi il contenuto da 100 a 10k URL alla volta. Se hai bisogno di fare scraping di meno di 50 URL alla volta, ti consigliamo di usare l’endpoint scrape e inviare gli URL in parallelo poiché è più veloce dell’endpoint batch.

Prezzi

Il batch costa 1 credito per URL.