generateText o streamText y el modelo decide cuándo buscar, hacer scraping o crawling.
Instalar desde npm →
Por qué Olostep
- Infraestructura de datos web para desarrolladores y empresas
- Escala de cientos de millones a miles de millones de solicitudes por cliente al mes
- La API más eficiente, confiable y rentable del mercado
- Usada por las empresas de IA de más rápido crecimiento
Características
El paquete proporciona 7 herramientas:Scrape
Haz scraping de cualquier URL y devuelve markdown limpio, con renderizado de JavaScript
Search
Busca en la web en vivo y devuelve títulos, URLs y descripciones
Answer
Responde una pregunta de la web en vivo, con URLs de origen
Map
Lista las URLs en un sitio web, opcionalmente clasificadas por una consulta
Crawl
Haz crawling de un sitio desde una URL inicial y devuelve el markdown de cada página
Batch
Haz scraping de hasta 100k URLs en un lote y devuelve el markdown de cada página
Results
Obtén las páginas restantes de un crawl o batch
Instalación
Configuración
Configura tu clave API de Olostep como una variable de entorno:.env:
Inicio Rápido
Pasa todas las herramientas de Olostep al modelo conolostepTools():
stopWhen permite al modelo llamar a herramientas en varios pasos, por ejemplo, buscar primero y luego hacer scraping del mejor resultado. La cadena del modelo utiliza el Vercel AI Gateway. También puedes pasar cualquier modelo de proveedor del AI SDK, como openai('gpt-5-mini') de @ai-sdk/openai.
Selecciona Herramientas Individuales
Solo proporciona al modelo las herramientas que necesita:Herramientas Disponibles
Los nombres de las herramientas a continuación son las claves utilizadas porolostepTools().
scrape
olostepScrape(). Haz scraping de una sola URL y devuelve su contenido como markdown.
Entrada:
string
requerido
La URL de la página para hacer scraping
number
Milisegundos para esperar que las páginas pesadas en JavaScript se rendericen (0 a 10000)
{ url, markdown }
search
olostepSearch(). Busca en la web en vivo.
Entrada:
string
requerido
La consulta de búsqueda
number
predeterminado:"10"
Número máximo de resultados (1 a 25)
{ query, results: [{ title, url, description }] }
answer
olostepAnswer(). Busca y lee la web en vivo para responder una pregunta, con fuentes.
Entrada:
string
requerido
La pregunta o tarea de investigación
{ answer, sources }
map
olostepMap(). Descubre las URLs en un sitio web.
Entrada:
string
requerido
El sitio web para mapear
string
Clasifica URLs por relevancia para esta consulta
number
Número máximo de URLs a devolver (1 a 100k)
{ url, urls }
crawl
olostepCrawl(). Haz crawling de un sitio web desde una URL inicial y devuelve el markdown de cada página. La herramienta espera el crawl, hasta timeoutSeconds, luego devuelve el primer conjunto de páginas.
Entrada:
string
requerido
La URL desde la cual comenzar el crawling
number
predeterminado:"5"
Máximo de páginas para hacer crawling (1 a 100k)
array
Solo haz crawling de URLs que coincidan con estos patrones glob, por ejemplo
["/docs/**"]{ id, status, pages: [{ url, markdown }], nextCursor, message }
batch
olostepBatch(). Haz scraping de hasta 100k URLs en un lote y devuelve el markdown de cada página. La herramienta espera el lote, hasta timeoutSeconds, luego devuelve el primer conjunto de páginas.
Entrada:
array
requerido
Las URLs para hacer scraping (1 a 100k)
{ id, status, pages: [{ url, markdown }], nextCursor, message }
results
olostepResults(). Obtén las páginas de un crawl o batch por su id. Úsalo cuando la herramienta de crawl o batch haya devuelto in_progress o un nextCursor.
Entrada:
string
requerido
El id del crawl o batch, comenzando con
crawl_ o batch_string
El
nextCursor de un resultado anterior. Déjalo vacío para las primeras páginas.{ id, status, pages: [{ url, markdown }], nextCursor, message }
El contenido de la página va al modelo, por lo que los resultados de crawl y batch regresan 20 páginas a la vez por defecto. Si un trabajo aún está en ejecución cuando termina la espera, la herramienta devuelve su
id con status configurado en in_progress. Si hay más páginas disponibles, el resultado incluye nextCursor. Pasa el id y nextCursor a olostepResults para obtener las siguientes páginas, hasta que tengas todas las páginas.Los lotes llegan hasta 100k URLs. Las nuevas cuentas comienzan con 100 URLs por lote, y info@olostep.com puede aumentar esto.Opciones
Cada herramienta, yolostepTools(), acepta las mismas opciones:
string
Clave API de Olostep. Por defecto es la variable de entorno
OLOSTEP_API_KEY.number
predeterminado:"20000"
Máximo de caracteres del contenido de la página devuelto al modelo por página. Las páginas más largas se truncan.
number
predeterminado:"300"
Cuánto tiempo esperan las herramientas de crawl y batch para que el trabajo termine, en segundos.
number
predeterminado:"20"
Cuántas páginas devuelven las herramientas de crawl, batch y results por llamada, hasta 100.
string
predeterminado:"https://api.olostep.com/v1"
URL base de la API de Olostep.
Ejemplo de Streaming
Usa las mismas herramientas constreamText, por ejemplo, en un manejador de rutas de Next.js:
app/api/chat/route.ts
Casos de Uso Populares
Asistente de Investigación
Asistente de Investigación
- El modelo usa
searchoanswerpara encontrar fuentes - Usa
scrapepara leer las páginas más relevantes - Devuelve un resumen con URLs de fuente
Agente de Codificación Consciente de Documentación
Agente de Codificación Consciente de Documentación
- El modelo usa
mapcon unsearchQuerypara encontrar las páginas de documentación correctas - Usa
batchocrawlpara leerlas - Escribe código contra la API actual en lugar de adivinar
Monitoreo de Competencia y Precios
Monitoreo de Competencia y Precios
- Un trabajo programado llama a
generateTextconscrapeybatch - El modelo extrae precios o cambios de cada página
- Tu código los compara con la última ejecución y envía alertas
Mejores Prácticas
Solo Pasa las Herramientas que Necesitas
Solo Pasa las Herramientas que Necesitas
La descripción de cada herramienta se envía al modelo. Menos herramientas significan menos tokens y menos elecciones de herramientas incorrectas. Para un chat que solo lee páginas,
scrape y search suelen ser suficientes.Establece un Límite de Pasos
Establece un Límite de Pasos
Siempre establece
stopWhen (por ejemplo, stepCountIs(5)) para que el modelo pueda encadenar llamadas a herramientas pero no pueda buclear indefinidamente.Reduce maxCharacters para Páginas Largas
Reduce maxCharacters para Páginas Largas
El contenido de la página es la mayor parte de la factura de tokens. Si haces crawling o batch de muchas páginas, reduce
maxCharacters o pagesPerCall para que todos los resultados quepan en la ventana de contexto del modelo.Usa results para Crawls y Batches Grandes
Usa results para Crawls y Batches Grandes
Las herramientas de crawl y batch esperan hasta
timeoutSeconds. Los trabajos grandes pueden durar más, por lo que la herramienta devuelve un id. Usa olostepResults con ese id para obtener las páginas cuando el trabajo haya terminado.Solución de Problemas
Autenticación Fallida
Autenticación Fallida
Error: “Clave API inválida”Soluciones:
- Verifica tu clave API en el tablero
- Asegúrate de que
OLOSTEP_API_KEYesté configurado donde tu código se ejecuta (por ejemplo, en las variables de entorno de tu proyecto de Vercel) - O pasa la clave directamente con
olostepTools({ apiKey })
El Modelo No Llama a las Herramientas
El Modelo No Llama a las Herramientas
Soluciones:
- Establece
stopWhen, de lo contrario, la generación se detiene después del primer paso - Usa un modelo que soporte llamadas a herramientas
- Menciona la web en tu prompt o mensaje del sistema, por ejemplo, “usa las herramientas web y cita tus fuentes”
Crawl o Batch Devuelve in_progress
Crawl o Batch Devuelve in_progress
El trabajo aún está en ejecución, lo cual es normal para trabajos grandes.Soluciones:
- Llama a
olostepResultscon eliduna vez que el trabajo haya terminado - Aumenta
timeoutSecondspara esperar más tiempo - En funciones sin servidor, asegúrate de que el límite de tiempo de la función sea más largo que
timeoutSeconds
Longitud de Contexto Excedida
Longitud de Contexto Excedida
Soluciones:
- Reduce
maxCharactersopagesPerCall - Usa
mapconsearchQuerypara elegir menos páginas, más relevantes, antes de leerlas
Precios
Olostep cobra basado en el uso de la API, independiente del AI SDK:- Scrapes: Pago por scrape
- Búsquedas y Respuestas: Pago por solicitud
- Batches: Pago por URL en batch
- Crawls: Pago por página crawleada
- Maps: Pago por operación de mapeo
Soporte
GitHub
Código fuente y problemas
Correo de Soporte
Correo: info@olostep.com
Documentación del AI SDK
Aprende sobre el Vercel AI SDK
Documentación
Navega por la documentación completa de la API
Recursos Relacionados
API de Scrapes
Aprende sobre el endpoint de Scrapes
API de Crawls
Aprende sobre el endpoint de Crawls
Integración de Mastra
Construye agentes con Mastra
Integración de LangChain
Construye agentes de IA con LangChain