Saltar al contenido principal
La integración de Olostep AI SDK proporciona a los agentes construidos con el Vercel AI SDK herramientas listas para datos web en vivo. Olostep es infraestructura de datos web para agentes de IA y flujos de trabajo de IA empresarial. Sus APIs ofrecen búsqueda web en vivo, scraping y crawling para extraer, limpiar y estructurar datos de la web. Pasa las herramientas a generateText o streamText y el modelo decide cuándo buscar, hacer scraping o crawling. Instalar desde npm →

Por qué Olostep

  • Infraestructura de datos web para desarrolladores y empresas
  • Escala de cientos de millones a miles de millones de solicitudes por cliente al mes
  • La API más eficiente, confiable y rentable del mercado
  • Usada por las empresas de IA de más rápido crecimiento
Desde extraer datos de un puñado de URLs hasta hacer crawling de cientos de millones de páginas, Olostep ofrece a los desarrolladores y empresas de IA acceso confiable, escalable y altamente rentable a datos web limpios y estructurados.

Características

El paquete proporciona 7 herramientas:

Scrape

Haz scraping de cualquier URL y devuelve markdown limpio, con renderizado de JavaScript

Search

Busca en la web en vivo y devuelve títulos, URLs y descripciones

Answer

Responde una pregunta de la web en vivo, con URLs de origen

Map

Lista las URLs en un sitio web, opcionalmente clasificadas por una consulta

Crawl

Haz crawling de un sitio desde una URL inicial y devuelve el markdown de cada página

Batch

Haz scraping de hasta 100k URLs en un lote y devuelve el markdown de cada página

Results

Obtén las páginas restantes de un crawl o batch

Instalación

Funciona con AI SDK 5, 6 y 7, Zod 3.25+ o 4, y Node.js 18+.

Configuración

Configura tu clave API de Olostep como una variable de entorno:
O en tu archivo .env:
Obtén tu clave API desde el Tablero de Olostep.

Inicio Rápido

Pasa todas las herramientas de Olostep al modelo con olostepTools():
stopWhen permite al modelo llamar a herramientas en varios pasos, por ejemplo, buscar primero y luego hacer scraping del mejor resultado. La cadena del modelo utiliza el Vercel AI Gateway. También puedes pasar cualquier modelo de proveedor del AI SDK, como openai('gpt-5-mini') de @ai-sdk/openai.

Selecciona Herramientas Individuales

Solo proporciona al modelo las herramientas que necesita:

Herramientas Disponibles

Los nombres de las herramientas a continuación son las claves utilizadas por olostepTools().

scrape

olostepScrape(). Haz scraping de una sola URL y devuelve su contenido como markdown. Entrada:
string
requerido
La URL de la página para hacer scraping
number
Milisegundos para esperar que las páginas pesadas en JavaScript se rendericen (0 a 10000)
Devuelve: { url, markdown } olostepSearch(). Busca en la web en vivo. Entrada:
string
requerido
La consulta de búsqueda
number
predeterminado:"10"
Número máximo de resultados (1 a 25)
Devuelve: { query, results: [{ title, url, description }] }

answer

olostepAnswer(). Busca y lee la web en vivo para responder una pregunta, con fuentes. Entrada:
string
requerido
La pregunta o tarea de investigación
Devuelve: { answer, sources }

map

olostepMap(). Descubre las URLs en un sitio web. Entrada:
string
requerido
El sitio web para mapear
string
Clasifica URLs por relevancia para esta consulta
number
Número máximo de URLs a devolver (1 a 100k)
Devuelve: { url, urls }

crawl

olostepCrawl(). Haz crawling de un sitio web desde una URL inicial y devuelve el markdown de cada página. La herramienta espera el crawl, hasta timeoutSeconds, luego devuelve el primer conjunto de páginas. Entrada:
string
requerido
La URL desde la cual comenzar el crawling
number
predeterminado:"5"
Máximo de páginas para hacer crawling (1 a 100k)
array
Solo haz crawling de URLs que coincidan con estos patrones glob, por ejemplo ["/docs/**"]
Devuelve: { id, status, pages: [{ url, markdown }], nextCursor, message }

batch

olostepBatch(). Haz scraping de hasta 100k URLs en un lote y devuelve el markdown de cada página. La herramienta espera el lote, hasta timeoutSeconds, luego devuelve el primer conjunto de páginas. Entrada:
array
requerido
Las URLs para hacer scraping (1 a 100k)
Devuelve: { id, status, pages: [{ url, markdown }], nextCursor, message }

results

olostepResults(). Obtén las páginas de un crawl o batch por su id. Úsalo cuando la herramienta de crawl o batch haya devuelto in_progress o un nextCursor. Entrada:
string
requerido
El id del crawl o batch, comenzando con crawl_ o batch_
string
El nextCursor de un resultado anterior. Déjalo vacío para las primeras páginas.
Devuelve: { id, status, pages: [{ url, markdown }], nextCursor, message }
El contenido de la página va al modelo, por lo que los resultados de crawl y batch regresan 20 páginas a la vez por defecto. Si un trabajo aún está en ejecución cuando termina la espera, la herramienta devuelve su id con status configurado en in_progress. Si hay más páginas disponibles, el resultado incluye nextCursor. Pasa el id y nextCursor a olostepResults para obtener las siguientes páginas, hasta que tengas todas las páginas.Los lotes llegan hasta 100k URLs. Las nuevas cuentas comienzan con 100 URLs por lote, y info@olostep.com puede aumentar esto.

Opciones

Cada herramienta, y olostepTools(), acepta las mismas opciones:
string
Clave API de Olostep. Por defecto es la variable de entorno OLOSTEP_API_KEY.
number
predeterminado:"20000"
Máximo de caracteres del contenido de la página devuelto al modelo por página. Las páginas más largas se truncan.
number
predeterminado:"300"
Cuánto tiempo esperan las herramientas de crawl y batch para que el trabajo termine, en segundos.
number
predeterminado:"20"
Cuántas páginas devuelven las herramientas de crawl, batch y results por llamada, hasta 100.
string
predeterminado:"https://api.olostep.com/v1"
URL base de la API de Olostep.

Ejemplo de Streaming

Usa las mismas herramientas con streamText, por ejemplo, en un manejador de rutas de Next.js:
app/api/chat/route.ts

Casos de Uso Populares

  1. El modelo usa search o answer para encontrar fuentes
  2. Usa scrape para leer las páginas más relevantes
  3. Devuelve un resumen con URLs de fuente
  1. El modelo usa map con un searchQuery para encontrar las páginas de documentación correctas
  2. Usa batch o crawl para leerlas
  3. Escribe código contra la API actual en lugar de adivinar
  1. Un trabajo programado llama a generateText con scrape y batch
  2. El modelo extrae precios o cambios de cada página
  3. Tu código los compara con la última ejecución y envía alertas

Mejores Prácticas

La descripción de cada herramienta se envía al modelo. Menos herramientas significan menos tokens y menos elecciones de herramientas incorrectas. Para un chat que solo lee páginas, scrape y search suelen ser suficientes.
Siempre establece stopWhen (por ejemplo, stepCountIs(5)) para que el modelo pueda encadenar llamadas a herramientas pero no pueda buclear indefinidamente.
El contenido de la página es la mayor parte de la factura de tokens. Si haces crawling o batch de muchas páginas, reduce maxCharacters o pagesPerCall para que todos los resultados quepan en la ventana de contexto del modelo.
Las herramientas de crawl y batch esperan hasta timeoutSeconds. Los trabajos grandes pueden durar más, por lo que la herramienta devuelve un id. Usa olostepResults con ese id para obtener las páginas cuando el trabajo haya terminado.

Solución de Problemas

Error: “Clave API inválida”Soluciones:
  • Verifica tu clave API en el tablero
  • Asegúrate de que OLOSTEP_API_KEY esté configurado donde tu código se ejecuta (por ejemplo, en las variables de entorno de tu proyecto de Vercel)
  • O pasa la clave directamente con olostepTools({ apiKey })
Soluciones:
  • Establece stopWhen, de lo contrario, la generación se detiene después del primer paso
  • Usa un modelo que soporte llamadas a herramientas
  • Menciona la web en tu prompt o mensaje del sistema, por ejemplo, “usa las herramientas web y cita tus fuentes”
El trabajo aún está en ejecución, lo cual es normal para trabajos grandes.Soluciones:
  • Llama a olostepResults con el id una vez que el trabajo haya terminado
  • Aumenta timeoutSeconds para esperar más tiempo
  • En funciones sin servidor, asegúrate de que el límite de tiempo de la función sea más largo que timeoutSeconds
Soluciones:
  • Reduce maxCharacters o pagesPerCall
  • Usa map con searchQuery para elegir menos páginas, más relevantes, antes de leerlas

Precios

Olostep cobra basado en el uso de la API, independiente del AI SDK:
  • Scrapes: Pago por scrape
  • Búsquedas y Respuestas: Pago por solicitud
  • Batches: Pago por URL en batch
  • Crawls: Pago por página crawleada
  • Maps: Pago por operación de mapeo
Consulta los precios actuales en olostep.com/pricing.

Soporte

GitHub

Código fuente y problemas

Correo de Soporte

Documentación del AI SDK

Aprende sobre el Vercel AI SDK

Documentación

Navega por la documentación completa de la API

Recursos Relacionados

API de Scrapes

Aprende sobre el endpoint de Scrapes

API de Crawls

Aprende sobre el endpoint de Crawls

Integración de Mastra

Construye agentes con Mastra

Integración de LangChain

Construye agentes de IA con LangChain