Vai al contenuto principale
Attraverso l’endpoint /v1/batches di Olostep puoi processare fino a 100k URL in un unico batch. Un batch impiega circa 5-8 minuti. Usalo per estrarre contenuti o dati strutturati su larga scala in modo asincrono.
  • Invia fino a 100k URL per batch
  • Un singolo batch impiega circa 5–8 minuti, indipendentemente dalla dimensione del batch. Batch è un endpoint asincrono
  • Esegui molti batch in parallelo per scalare a milioni di richieste concorrenti.
  • Usa parser per restituire JSON strutturato o recupera markdown/html tramite /v1/retrieve
  • Se desideri ottenere risultati con bassa latenza o in modo sincrono, usa l’endpoint scrape e invia molte richieste concorrenti.
Per i dettagli dell’API, consulta la Riferimento API dell’Endpoint Batch.
Nota: Per i nuovi account, i batch sono limitati a 100 elementi per batch. Per rimuovere questa limitazione, contattaci a info@olostep.com o raggiungici su Slack.

Installazione

Avviare un batch

Fornisci un array di items con un custom_id e url. Questi sono gli URL che verranno processati nel batch, il custom_id è un identificatore unico interno per l’URL. Opzionalmente passa parser o country. Tramite il parametro parser puoi specificare il parser da utilizzare per il batch, questo restituirà JSON strutturato dalle pagine.
Poiché Olostep segue un approccio orientato agli oggetti, riceverai un oggetto batch in risposta. L’oggetto batch ha alcune proprietà come id e status.

Controlla lo stato del batch

Interroga fino a quando status è completed. Puoi anche controllare la proprietà completed_urls per vedere quanti URL sono stati processati.

Recupera contenuto

Usa il retrieve_id di ciascun elemento con /v1/retrieve per recuperare html_content, markdown_content o json_content.

Elenca elementi (paginazione con cursore)

GET /v1/batches/{id}/items restituisce fino a 10000 elementi per impostazione predefinita (anche il massimo). Se la risposta include cursor, ci sono altri elementi — passa quel cursor nella richiesta successiva fino a quando non è assente. Preferisci /v1/retrieve con retrieve_id per il contenuto.

Formato della Risposta

Quando esegui il codice di esempio fornito, riceverai una risposta come la seguente
Poiché abbiamo passato il parser per recuperare il JSON strutturato e stiamo stampando solo quello, la risposta contiene:
  • json_content con risultati di ricerca strutturati inclusi:
  • searchParameters: Informazioni sulla query di ricerca
  • knowledgeGraph: Informazioni dettagliate sul soggetto della ricerca (quando disponibili)
  • organic: Elenco dei risultati di ricerca con titolo, link, posizione e snippet
  • peopleAlsoAsk: Domande correlate che gli utenti cercano comunemente
  • relatedSearches: Suggerimenti di ricerche correlate
Se non vuoi il JSON strutturato ma semplicemente il markdown o l’html puoi recuperarli dall’endpoint retrieve.

Webhook

Invece di interrogare lo stato del batch, puoi passare un URL webhook quando crei il batch. Olostep invia un HTTP POST a quell’URL quando il batch termina (tutti gli elementi completati o falliti). Il tuo endpoint webhook deve essere pubblicamente raggiungibile tramite http:// o https://. Non può puntare a localhost o indirizzi IP privati. Per la forma completa del payload, il comportamento di retry e le migliori pratiche (rispondi rapidamente con 2xx, deduplica usando l’evento id), vedi Webhook.
Nome del parametro: Il campo canonico è webhook. Per compatibilità retroattiva, webhook_url è accettato anche come alias.
Per i batch, l’evento batch.completed include l’id del batch, lo stato e il conteggio degli elementi. Le consegne fallite vengono ritentate automaticamente (fino a 5 tentativi in circa 30 minuti con backoff esponenziale). Il tuo gestore deve restituire uno stato 2xx entro 30 secondi per tentativo.

Metadata

Allega metadati personalizzati string key-value ai batch per tracciare, filtrare e correlare i lavori con i tuoi sistemi (ID ordini, nomi progetti, fase della pipeline, ecc.). I metadati seguono le stesse regole della nostra Riferimento Metadata. Puoi impostare i metadati a due livelli quando crei un batch:
  • Livello batch — metadata sul corpo della richiesta (si applica all’intero batch)
  • Livello elemento — metadata su ogni oggetto nell’array items (per URL)
I metadati sono restituiti nelle risposte GET successive per quel batch. Puoi aggiornare-unire i metadati del batch successivamente con Update Batch (PATCH); vedi la guida ai metadati per il comportamento di aggiunta, sovrascrittura e cancellazione.
Coercizione del tipo: Numeri e booleani sono convertiti in stringhe (ad esempio 42 → "42", true → "true"). Oggetti annidati e array sono rifiutati.
Per esempi completi e semantica PATCH, vedi Metadata.

Note Importanti

Se vuoi JSON strutturato devi passare il parser specifico all’API prima di fare le richieste. Ad esempio, se vuoi ottenere il JSON da Google Search passerai questo parser "parser": {"id": "@olostep/google-search"} Puoi creare i tuoi parser per recuperare i dati che desideri da qualsiasi pagina. Contatta info@olostep.com per saperne di più.

Conclusione

L’endpoint batch è utile se hai bisogno di ottenere dati da molti URL in un breve periodo di tempo. Devi già avere l’elenco degli URL da cui vuoi ottenere i dati. Applicazioni comuni possono essere:
  • Servizi di monitoraggio prezzi che controllano più siti di e-commerce per cambiamenti di prezzo sui prodotti
  • Strumenti di monitoraggio dei siti web che verificano aggiornamenti di contenuto su numerose pagine
  • Aggregazione dati per organizzatori di concerti che tracciano la disponibilità di biglietti su più sedi
  • Motori di ricerca che raccolgono e indicizzano contenuti da molti siti web contemporaneamente
  • Aggregatori di notizie che raccolgono articoli da varie pubblicazioni
  • Piattaforme immobiliari che monitorano annunci di proprietà su più siti
  • Bacheche di lavoro che aggregano offerte dalle pagine delle carriere aziendali
  • Servizi di dati finanziari che tracciano prezzi delle azioni e informazioni di mercato
  • Strumenti di monitoraggio dei social media che analizzano le menzioni su diverse piattaforme
  • Ricerca accademica che raccoglie dati da più fonti per l’analisi
È meglio usare l’endpoint batch se vuoi il contenuto da 100 a 100k URL alla volta. Se hai bisogno di fare scraping di meno di 50 URL alla volta, ti consigliamo di usare l’endpoint scrape e inviare gli URL in parallelo poiché è più veloce dell’endpoint batch.

Prezzi

Il costo del batch è di 1 credito per URL.