Skip to main content
A través del punto de acceso /v1/batches de Olostep puedes procesar hasta 10,000 URLs en un solo lote. Un lote tarda alrededor de 5-8 minutos. Úsalo para extraer contenido o datos estructurados a gran escala de manera asíncrona.
  • Envía hasta 10,000 URLs por lote
  • Un solo lote tarda alrededor de 5–8 minutos, independientemente del tamaño del lote. El lote es un punto de acceso asíncrono
  • Ejecuta muchos lotes en paralelo para escalar a millones de solicitudes concurrentes.
  • Usa analizadores para devolver JSON estructurado, o recupera markdown/html a través de /v1/retrieve
  • Si deseas obtener resultados con baja latencia o de manera síncrona, usa el punto de acceso de scrape y envía muchas solicitudes concurrentes en su lugar.
Para detalles de la API, consulta la Referencia de la API del Punto de Acceso de Lote.
Nota: Para cuentas nuevas, los lotes están limitados a 100 elementos por lote. Para levantar esta limitación, por favor contáctanos en info@olostep.com o únete a nosotros en Slack.

Instalación

Iniciar un lote

Proporciona un array de items con un custom_id y url. Estas son las URLs que se procesarán en el lote, el custom_id es un identificador único interno para la URL. Opcionalmente pasa parser o country. A través del parámetro parser puedes especificar el analizador a usar para el lote, esto devolverá JSON estructurado de las páginas.
Dado que Olostep sigue un enfoque orientado a objetos, recibirás un objeto batch en respuesta. El objeto batch tiene algunas propiedades como id y status.

Verificar estado del lote

Haz polling hasta que status sea completed. También puedes verificar la propiedad completed_urls para ver cuántas URLs han sido procesadas.

Recuperar contenido

Usa el retrieve_id de cada elemento con /v1/retrieve para obtener html_content, markdown_content, o json_content.

Listar elementos (paginación con cursor)

Obtén elementos usando cursor y limit. Prefiere usar /v1/retrieve con retrieve_id para contenido.

Formato de Respuesta

Cuando ejecutes el código de ejemplo proporcionado, recibirás una respuesta como la siguiente
Dado que pasamos el analizador para recuperar el JSON estructurado y estamos imprimiendo solo eso, la respuesta contiene:
  • json_content con resultados de búsqueda estructurados incluyendo:
  • searchParameters: Información sobre la consulta de búsqueda
  • knowledgeGraph: Información detallada sobre el tema de búsqueda (cuando está disponible)
  • organic: Lista de resultados de búsqueda con título, enlace, posición y fragmento
  • peopleAlsoAsk: Preguntas relacionadas que los usuarios buscan comúnmente
  • relatedSearches: Consultas de búsqueda relacionadas sugeridas
Si no deseas el JSON estructurado sino simplemente el markdown o html, puedes recuperarlos desde el punto de acceso de retrieve.

Webhooks

En lugar de hacer polling del estado del lote, puedes pasar una URL de webhook cuando creas el lote. Olostep envía un HTTP POST a esa URL cuando el lote termina (todos los elementos completados o fallidos). Tu punto de acceso de webhook debe ser accesible públicamente a través de http:// o https://. No puede apuntar a localhost o direcciones IP privadas. Para la forma completa del payload, comportamiento de reintento y mejores prácticas (responder rápidamente con 2xx, deduplicar usando el id del evento), consulta Webhooks.
Nombre del parámetro: El campo canónico es webhook. Por compatibilidad con versiones anteriores, webhook_url también se acepta como un alias.
Para lotes, el evento batch.completed incluye el id del lote, estado y conteo de elementos. Las entregas fallidas se reintentan automáticamente (hasta 5 intentos durante aproximadamente 30 minutos con retroceso exponencial). Tu manejador debe devolver un estado 2xx dentro de 30 segundos por intento.

Metadata

Adjunta metadatos personalizados de clave-valor de cadena a los lotes para seguimiento, filtrado y correlación de trabajos con tus propios sistemas (IDs de pedido, nombres de proyectos, etapa de la tubería, etc.). Los metadatos siguen las mismas reglas que en nuestra referencia de Metadata. Puedes establecer metadatos en dos niveles al crear un lote:
  • A nivel de lotemetadata en el cuerpo de la solicitud (se aplica a todo el lote)
  • A nivel de elementometadata en cada objeto en el array items (por URL)
Los metadatos se devuelven en respuestas GET posteriores para ese lote. Puedes actualizar y fusionar los metadatos del lote más tarde con Update Batch (PATCH); consulta la guía de metadatos para el comportamiento de agregar, sobrescribir y eliminar.
Coerción de tipo: Los números y booleanos se convierten a cadenas (por ejemplo, 42"42", true"true"). Los objetos anidados y arrays son rechazados.
Para ejemplos completos y semántica de PATCH, consulta Metadata.

Notas Importantes

Si deseas JSON estructurado necesitas pasar el analizador específico a la API antes de hacer las solicitudes. Por ejemplo, si deseas obtener el JSON de Google Search, pasarás este analizador "parser": {"id": "@olostep/google-search"} Puedes crear tus propios analizadores para recuperar los datos que desees de cualquier página. Ponte en contacto con info@olostep.com para saber más.

Conclusión

El punto de acceso de lote es útil si necesitas obtener datos de muchas URLs en un corto período de tiempo. Necesitas tener ya la lista de URLs de las que deseas obtener los datos. Las aplicaciones comunes pueden ser:
  • Servicios de seguimiento de precios que monitorean múltiples sitios de comercio electrónico para cambios de precios en productos
  • Herramientas de monitoreo de sitios web que verifican actualizaciones de contenido en numerosas páginas
  • Agregación de datos para organizadores de conciertos que rastrean la disponibilidad de boletos en múltiples lugares
  • Motores de búsqueda que recopilan e indexan contenido de muchos sitios web simultáneamente
  • Agregadores de noticias que recopilan artículos de varias publicaciones
  • Plataformas inmobiliarias que monitorean listados de propiedades en múltiples sitios
  • Bolsas de trabajo que agregan vacantes de páginas de carreras de empresas
  • Servicios de datos financieros que rastrean precios de acciones e información del mercado
  • Herramientas de monitoreo de redes sociales que analizan menciones en diferentes plataformas
  • Investigación académica que recopila datos de múltiples fuentes para análisis
Es mejor usar el punto de acceso de lote si deseas el contenido de 100 a 10,000 URLs a la vez. Si necesitas hacer scraping de menos de 50 URLs a la vez, recomendamos usar el punto de acceso de scrape y enviar las URLs en paralelo ya que es más rápido que el punto de acceso de lote.

Precios

El costo del lote es de 1 crédito por URL.