Raspar

Documentation Index

Fetch the complete documentation index at: https://docs.olostep.com/llms.txt

Use this file to discover all available pages before exploring further.

• Genera markdown limpio, datos estructurados, capturas de pantalla o html
• Extrae JSON a través de Parsers o extracción LLM
• Maneja contenido dinámico: sitios renderizados con js, flujos de inicio de sesión mediante acciones, PDFs

​

Raspando una URL

​

Instalación

pip install olostep

​

Uso

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

result = client.scrapes.create(
    url_to_scrape="https://en.wikipedia.org/wiki/Alexander_the_Great",
    formats=["markdown", "html"],
)

print(result.markdown_content)
print(result.html_content)

​

Respuesta

• html_content: el contenido HTML de la página. Pasa formats: ["html"] para obtener esto.
• markdown_content: el contenido MD de la página. Pasa formats: ["markdown"] para obtener esto.
• text_content: el contenido de texto de la página. Pasa formats: ["text"] para obtener esto.
• json_content: el contenido JSON de la página. Pasa formats: ["json"] para obtener esto y también proporciona un parámetro parser o llm_extract.
• screenshot_hosted_url: la URL alojada de la captura de pantalla.
• html_hosted_url: la URL alojada del contenido HTML
• markdown_hosted_url: la URL alojada del contenido Markdown
• json_hosted_url: la URL alojada del contenido JSON
• text_hosted_url: la URL alojada del contenido de texto
• links_on_page: los enlaces en la página
• page_metadata: los metadatos de la página

{
  "id": "scrape_6h89o8u1kt",
  "object": "scrape",
  "created": 1745673871,
  "metadata": {},
  "retrieve_id": "6h89o8u1kt",
  "url_to_scrape": "https://en.wikipedia.org/wiki/Alexander_the_Great",
  "result": {
    "html_content": "<html...",
    "markdown_content": "## Alexander the Great...",
    "text_content": null,
    "json_content": null,
    "screenshot_hosted_url": null,
    "html_hosted_url": "https://olostep-storage.s3.us-east-1.amazonaws.com/text_6h89o8u1kt.txt",
    "markdown_hosted_url": "https://olostep-storage.s3.us-east-1.amazonaws.com/markDown_6h89o8u1kt.txt",
    "json_hosted_url": null,
    "text_hosted_url": null,
    "links_on_page": [],
    "page_metadata": { "status_code": 200, "title": "" }
  }
}

​

Formatos de Raspado

• markdown: markdown compatible con LLM
• html: HTML limpio
• text: texto plano
• json: salida estructurada (a través de parser o llm_extract)
• raw_pdf: bytes de PDF sin procesar extraídos a una URL alojada
• screenshot: configurado a través de acciones para capturar una captura de pantalla y devolver una URL alojada

​

Extraer datos estructurados

​

Usando un Parser (recomendado para escala)

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

result = client.scrapes.create(
    url_to_scrape="https://www.google.com/search?q=alexander+the+great&gl=us&hl=en",
    formats=["json"],
    parser="@olostep/google-search",
)

print(result.json_content)

​

Usando extracción LLM (esquema y/o instrucción)

from olostep import LLMExtract, Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

result = client.scrapes.create(
    url_to_scrape="https://www.berklee.edu/events/stefano-marchese-friends",
    formats=["markdown", "json"],
    llm_extract=LLMExtract(
        schema={
            "event": {
                "type": "object",
                "properties": {
                    "title": {"type": "string"},
                    "date": {"type": "string"},
                    "description": {"type": "string"},
                    "venue": {"type": "string"},
                    "address": {"type": "string"},
                    "start_time": {"type": "string"},
                },
            }
        }
    ),
)

print(result.json_content)

​

Interactuando con la página con Acciones

• wait con milliseconds
• click con selector
• fill_input con selector y value
• scroll con direction y amount

​

Ejemplo

from olostep import FillInputAction, Olostep, WaitAction

client = Olostep(api_key="YOUR_REAL_KEY")

result = client.scrapes.create(
    url_to_scrape="https://example.com/login",
    formats=["markdown"],
    actions=[
        FillInputAction(selector="input[type=email]", value="john@example.com"),
        WaitAction(milliseconds=500),
        FillInputAction(selector="input[type=password]", value="secret"),
        {"type": "click", "selector": "button[type=\"submit\"]"},
        WaitAction(milliseconds=1500),
    ],
)

print(result.markdown_content)

​

Casos de Uso

​

Análisis de Contenido e Investigación

• Análisis Competitivo: Extrae detalles de productos, precios y características de sitios web de competidores
• Investigación de Mercado: Analiza páginas de destino, descripciones de productos y testimonios de clientes
• Investigación Académica: Recopila datos específicos de publicaciones científicas o portales de investigación
• Documentación Legal: Extrae estudios de casos, regulaciones o precedentes legales de sitios web oficiales

​

Comercio Electrónico y Retail

• Estrategias de Precios Dinámicos: Obtén precios de productos en tiempo real de tiendas competidoras
• Gestión de Información de Productos: Extrae especificaciones detalladas y descripciones
• Monitoreo de Stock/Inventario: Verifica la disponibilidad de productos en otros minoristas
• Análisis de Reseñas: Recopila comentarios de consumidores y sentimientos para productos específicos

​

Marketing y Creación de Contenidos

• Curación de Contenidos: Extrae artículos relevantes y publicaciones de blogs para boletines
• Análisis SEO: Examina el uso de palabras clave, descripciones meta y estructura de página de competidores
• Generación de Leads: Extrae información de contacto de directorios de empresas o páginas de compañías
• Investigación de Influencers: Recopila métricas de compromiso y estilos de contenido de perfiles de influencers
• Generación Personalizada de Redes Sociales: Crea marketing en redes sociales impulsado por IA analizando sitios web de clientes

​

Aplicaciones de Datos

• Recolección de Datos de Entrenamiento para IA: Recopila ejemplos específicos para modelos de aprendizaje automático
• Construcción de Base de Conocimiento Personalizada: Extrae documentación o instrucciones de sitios de software
• Archivos de Datos Históricos: Preserva el contenido del sitio web en puntos específicos en el tiempo
• Extracción de Datos Estructurados: Transforma contenido web en conjuntos de datos formateados para análisis

​

Monitoreo y Alertas

• Monitoreo de Cumplimiento Regulatorio: Rastrea cambios en sitios web legales o regulatorios
• Gestión de Crisis: Monitorea sitios de noticias para menciones de eventos o organizaciones específicas
• Seguimiento de Eventos: Extrae detalles sobre eventos próximos de sitios de lugares u organizadores
• Monitoreo de Estado de Servicios: Verifica páginas de estado de servicios para plataformas o herramientas específicas

​

Publicación y Medios

• Agregación de Noticias: Extrae noticias de última hora de fuentes oficiales
• Monitoreo de Medios: Rastrea temas específicos en sitios de noticias
• Verificación de Contenidos: Extrae información para verificar hechos o declaraciones
• Extracción Multimedia: Recopila videos, imágenes o audio incrustados para bibliotecas de medios

​

Aplicaciones Financieras

• Investigación de Inversiones: Extrae estados financieros o informes anuales de sitios web de empresas
• Indicadores Económicos: Recopila datos económicos de sitios web gubernamentales o de instituciones financieras
• Datos de Criptomonedas: Extrae información de precios en tiempo real y capitalización de mercado
• Análisis de Noticias Financieras: Monitorea sitios de noticias financieras para señales de mercado específicas

​

Aplicaciones Técnicas

• Extracción de Documentación de API: Recopila documentación técnica para referencia
• Pruebas de Integración: Extrae elementos del sitio web para verificar integraciones de terceros
• Pruebas de Accesibilidad: Analiza la estructura del sitio web para el cumplimiento de estándares de accesibilidad
• Creación de Archivos Web: Captura el contenido completo del sitio web para preservación histórica

​

Escenarios de Integración

• Sistemas CRM: Mejora los perfiles de clientes con datos de sitios web de empresas o Linkedin
• Sistemas de Gestión de Contenidos: Importa contenido externo relevante
• Herramientas de Inteligencia de Negocios: Complementa datos internos con información de mercado externa
• Software de Gestión de Proyectos: Extrae especificaciones o requisitos de sitios web de clientes
• Paneles Personalizados: Muestra datos extraídos junto a métricas internas

​

Manejo de Errores

{
  "id": "error_abc123",
  "object": "error",
  "created": 1745673871,
  "url": "https://example.com",
  "metadata": {},
  "error": {
    "type": "...",
    "code": "...",
    "message": "..."
  }
}

​

Fallo de DNS (400)

{
  "error": {
    "type": "invalid_request_error",
    "code": "dns_resolution_failed",
    "message": "La URL contiene un error tipográfico, o el dominio no existe."
  }
}

​

Error TLS/SSL (502)

{
  "error": {
    "type": "invalid_request_error",
    "code": "tls_error",
    "detail": "err_ssl_tlsv1_alert_internal_error",
    "message": "El sitio web cerró o rechazó el handshake TLS. El servidor puede estar mal configurado o usar una versión SSL/TLS no compatible."
  }
}

​

Tiempo de espera de la solicitud (504)

{
  "error": {
    "type": "request_timeout",
    "code": "scrape_poll_timeout",
    "message": "La solicitud expiró mientras se esperaba el resultado del raspado. La página puede ser lenta, estar bloqueada para nuestros fetchers, o estar temporalmente no disponible."
  }
}

​

Precios