generateText o streamText e il modello decide quando cercare, fare scraping o crawling.
Installa da npm →
Perché Olostep
- Infrastruttura di dati web per sviluppatori e aziende
- Scala fino a centinaia di milioni a miliardi di richieste per cliente al mese
- L’API più performante, affidabile ed economica sul mercato
- Utilizzata dalle aziende AI in più rapida crescita
Funzionalità
Il pacchetto fornisce 7 strumenti:Scrape
Fai scraping di qualsiasi URL e restituisci markdown pulito, con rendering JavaScript
Search
Cerca nel web live e restituisci titoli, URL e descrizioni
Answer
Rispondi a una domanda dal web live, con URL di origine
Map
Elenca gli URL su un sito web, eventualmente classificati da una query
Crawl
Fai crawling di un sito da un URL iniziale e restituisci il markdown di ogni pagina
Batch
Fai scraping fino a 100k URL in un batch e restituisci il markdown di ogni pagina
Results
Ottieni le pagine rimanenti di un crawl o batch
Installazione
Configurazione
Imposta la tua chiave API Olostep come variabile d’ambiente:.env:
Inizio Rapido
Passa tutti gli strumenti Olostep al modello conolostepTools():
stopWhen permette al modello di chiamare strumenti su più passaggi, ad esempio cercare prima e poi fare scraping del miglior risultato. La stringa del modello utilizza il Vercel AI Gateway. Puoi anche passare qualsiasi modello del provider AI SDK, come openai('gpt-5-mini') da @ai-sdk/openai.
Scegli Strumenti Individuali
Dai al modello solo gli strumenti di cui ha bisogno:Strumenti Disponibili
I nomi degli strumenti sotto sono le chiavi utilizzate daolostepTools().
scrape
olostepScrape(). Fai scraping di un singolo URL e restituisci il suo contenuto come markdown.
Input:
string
obbligatorio
L’URL della pagina da fare scraping
number
Millisecondi da attendere per il rendering di pagine pesanti di JavaScript (0 a 10000)
{ url, markdown }
search
olostepSearch(). Cerca nel web live.
Input:
string
obbligatorio
La query di ricerca
number
predefinito:"10"
Numero massimo di risultati (1 a 25)
{ query, results: [{ title, url, description }] }
answer
olostepAnswer(). Cerca e leggi il web live per rispondere a una domanda, con fonti.
Input:
string
obbligatorio
La domanda o compito di ricerca
{ answer, sources }
map
olostepMap(). Scopri gli URL su un sito web.
Input:
string
obbligatorio
Il sito web da mappare
string
Classifica gli URL per rilevanza rispetto a questa query
number
Numero massimo di URL da restituire (1 a 100k)
{ url, urls }
crawl
olostepCrawl(). Fai crawling di un sito web da un URL iniziale e restituisci il markdown di ogni pagina. Lo strumento attende il crawl, fino a timeoutSeconds, poi restituisce il primo set di pagine.
Input:
string
obbligatorio
L’URL da cui iniziare il crawling
number
predefinito:"5"
Numero massimo di pagine da fare crawling (1 a 100k)
array
Fai crawling solo degli URL che corrispondono a questi pattern glob, ad esempio
["/docs/**"]{ id, status, pages: [{ url, markdown }], nextCursor, message }
batch
olostepBatch(). Fai scraping fino a 100k URL in un batch e restituisci il markdown di ogni pagina. Lo strumento attende il batch, fino a timeoutSeconds, poi restituisce il primo set di pagine.
Input:
array
obbligatorio
Gli URL da fare scraping (1 a 100k)
{ id, status, pages: [{ url, markdown }], nextCursor, message }
results
olostepResults(). Ottieni le pagine di un crawl o batch tramite il suo id. Usalo quando lo strumento crawl o batch ha restituito in_progress o un nextCursor.
Input:
string
obbligatorio
L’id del crawl o batch, che inizia con
crawl_ o batch_string
Il
nextCursor da un risultato precedente. Lascia vuoto per le prime pagine.{ id, status, pages: [{ url, markdown }], nextCursor, message }
Il contenuto della pagina va al modello, quindi i risultati di crawl e batch tornano 20 pagine alla volta per impostazione predefinita. Se un lavoro è ancora in esecuzione quando l’attesa termina, lo strumento restituisce il suo
id con status impostato su in_progress. Se sono disponibili più pagine, il risultato include nextCursor. Passa l’id e nextCursor a olostepResults per ottenere le pagine successive, fino a quando non hai tutte le pagine.I batch arrivano fino a 100k URL. I nuovi account iniziano con 100 URL per batch, e info@olostep.com può aumentare questo limite.Opzioni
Ogni strumento, eolostepTools(), accetta le stesse opzioni:
string
Chiave API Olostep. Predefinito alla variabile d’ambiente
OLOSTEP_API_KEY.number
predefinito:"20000"
Numero massimo di caratteri del contenuto della pagina restituito al modello per pagina. Le pagine più lunghe vengono troncate.
number
predefinito:"300"
Quanto tempo gli strumenti di crawl e batch attendono che il lavoro finisca, in secondi.
number
predefinito:"20"
Quante pagine gli strumenti di crawl, batch e risultati restituiscono per chiamata, fino a 100.
string
predefinito:"https://api.olostep.com/v1"
URL base dell’API Olostep.
Esempio di Streaming
Usa gli stessi strumenti constreamText, ad esempio in un gestore di rotte Next.js:
app/api/chat/route.ts
Casi d’Uso Popolari
Assistente di Ricerca
Assistente di Ricerca
- Il modello utilizza
searchoanswerper trovare le fonti - Usa
scrapeper leggere le pagine più rilevanti - Restituisce un riassunto con gli URL delle fonti
Agente di Codifica Consapevole della Documentazione
Agente di Codifica Consapevole della Documentazione
- Il modello utilizza
mapcon unsearchQueryper trovare le pagine di documentazione giuste - Usa
batchocrawlper leggerle - Scrive codice contro l’API corrente invece di indovinare
Monitoraggio della Concorrenza e dei Prezzi
Monitoraggio della Concorrenza e dei Prezzi
- Un lavoro programmato chiama
generateTextconscrapeebatch - Il modello estrae prezzi o cambiamenti da ogni pagina
- Il tuo codice li confronta con l’ultima esecuzione e invia avvisi
Migliori Pratiche
Passa Solo gli Strumenti di Cui Hai Bisogno
Passa Solo gli Strumenti di Cui Hai Bisogno
La descrizione di ogni strumento viene inviata al modello. Meno strumenti significano meno token e meno scelte sbagliate di strumenti. Per una chat che legge solo pagine,
scrape e search sono spesso sufficienti.Imposta un Limite di Passi
Imposta un Limite di Passi
Imposta sempre
stopWhen (ad esempio stepCountIs(5)) in modo che il modello possa concatenare chiamate agli strumenti ma non possa ripetere all’infinito.Riduci maxCharacters per Pagine Lunghe
Riduci maxCharacters per Pagine Lunghe
Il contenuto della pagina è la parte più grande del costo dei token. Se fai crawling o batch di molte pagine, riduci
maxCharacters o pagesPerCall in modo che tutti i risultati rientrino nella finestra di contesto del modello.Usa results per Grandi Crawl e Batch
Usa results per Grandi Crawl e Batch
Gli strumenti di crawl e batch attendono fino a
timeoutSeconds. I lavori grandi possono durare più a lungo, quindi lo strumento restituisce un id. Usa olostepResults con quell’id per ottenere le pagine quando il lavoro è completato.Risoluzione dei Problemi
Autenticazione Fallita
Autenticazione Fallita
Errore: “Chiave API non valida”Soluzioni:
- Controlla la tua chiave API nel dashboard
- Assicurati che
OLOSTEP_API_KEYsia impostato dove il tuo codice viene eseguito (ad esempio nelle variabili d’ambiente del tuo progetto Vercel) - Oppure passa la chiave direttamente con
olostepTools({ apiKey })
Il Modello Non Chiama gli Strumenti
Il Modello Non Chiama gli Strumenti
Soluzioni:
- Imposta
stopWhen, altrimenti la generazione si ferma dopo il primo passo - Usa un modello che supporta la chiamata agli strumenti
- Menziona il web nel tuo prompt o messaggio di sistema, ad esempio “usa gli strumenti web e cita le tue fonti”
Crawl o Batch Restituisce in_progress
Crawl o Batch Restituisce in_progress
Il lavoro è ancora in esecuzione, il che è normale per lavori grandi.Soluzioni:
- Chiama
olostepResultscon l’iduna volta che il lavoro è terminato - Aumenta
timeoutSecondsper attendere più a lungo - Su funzioni serverless, assicurati che il limite di tempo della funzione sia più lungo di
timeoutSeconds
Superamento della Lunghezza del Contesto
Superamento della Lunghezza del Contesto
Soluzioni:
- Riduci
maxCharactersopagesPerCall - Usa
mapconsearchQueryper scegliere meno pagine, ma più rilevanti, prima di leggerle
Prezzi
Olostep addebita in base all’uso dell’API, indipendentemente dall’AI SDK:- Scrapes: Paghi per ogni scraping
- Searches e Answers: Paghi per richiesta
- Batches: Paghi per URL nel batch
- Crawls: Paghi per pagina fatta crawling
- Maps: Paghi per operazione di mappatura
Supporto
GitHub
Codice sorgente e problemi
Email di Supporto
Email: info@olostep.com
Documentazione AI SDK
Scopri il Vercel AI SDK
Documentazione
Sfoglia la documentazione completa dell’API
Risorse Correlate
Scrapes API
Scopri l’endpoint Scrapes
Crawls API
Scopri l’endpoint Crawls
Integrazione Mastra
Costruisci agenti con Mastra
Integrazione LangChain
Costruisci agenti AI con LangChain