Scrape

• Produce markdown pulito, dati strutturati, screenshot o html
• Estrai JSON tramite Parsers o estrazione LLM
• Gestisce contenuti dinamici: siti resi con js, flussi di login tramite azioni, PDF

​

Scraping di un URL

​

Installazione

# pip install requests

import requests

​

Utilizzo

import requests
import json

endpoint = "https://api.olostep.com/v1/scrapes"
payload = {
    "url_to_scrape": "https://en.wikipedia.org/wiki/Alexander_the_Great",
    "formats": ["markdown", "html"]
}
headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}

response = requests.post(endpoint, json=payload, headers=headers)
print(json.dumps(response.json(), indent=2))

​

Risposta

• html_content: il contenuto HTML della pagina. Passa formats: ["html"] per ottenere questo.
• markdown_content: il contenuto MD della pagina. Passa formats: ["markdown"] per ottenere questo.
• text_content: il contenuto testuale della pagina. Passa formats: ["text"] per ottenere questo.
• json_content: il contenuto JSON della pagina. Passa formats: ["json"] per ottenere questo e fornisci anche un parametro parser o llm_extract.
• screenshot_hosted_url: l’URL ospitato dello screenshot.
• html_hosted_url: l’URL ospitato del contenuto HTML
• markdown_hosted_url: l’URL ospitato del contenuto Markdown
• json_hosted_url: l’URL ospitato del contenuto JSON
• text_hosted_url: l’URL ospitato del contenuto testuale
• links_on_page: i link sulla pagina
• page_metadata: i metadati della pagina

{
  "id": "scrape_6h89o8u1kt",
  "object": "scrape",
  "created": 1745673871,
  "metadata": {},
  "retrieve_id": "6h89o8u1kt",
  "url_to_scrape": "https://en.wikipedia.org/wiki/Alexander_the_Great",
  "result": {
    "html_content": "<html...",
    "markdown_content": "## Alexander the Great...",
    "text_content": null,
    "json_content": null,
    "screenshot_hosted_url": null,
    "html_hosted_url": "https://olostep-storage.s3.us-east-1.amazonaws.com/text_6h89o8u1kt.txt",
    "markdown_hosted_url": "https://olostep-storage.s3.us-east-1.amazonaws.com/markDown_6h89o8u1kt.txt",
    "json_hosted_url": null,
    "text_hosted_url": null,
    "links_on_page": [],
    "page_metadata": { "status_code": 200, "title": "" }
  }
}

​

Formati di Scrape

• markdown: markdown compatibile con LLM
• html: HTML pulito
• text: testo semplice
• json: output strutturato (tramite parser o llm_extract)
• raw_pdf: byte PDF grezzi estratti a un URL ospitato
• screenshot: impostato tramite azioni per catturare uno screenshot e restituire un URL ospitato

​

Estrai dati strutturati

​

Utilizzando un Parser (consigliato per la scalabilità)

import requests, json

endpoint = "https://api.olostep.com/v1/scrapes"
payload = {
  "url_to_scrape": "https://www.google.com/search?q=alexander+the+great&gl=us&hl=en",
  "formats": ["json"],
  "parser": { 
    "id": "@olostep/google-search" 
  }
}
headers = {
    "Authorization": "Bearer <YOUR_API_KEY>", 
    "Content-Type": "application/json"
}

res = requests.post(endpoint, json=payload, headers=headers)
print(json.dumps(res.json(), indent=2))

​

Utilizzando l’estrazione LLM (schema e/o prompt)

import requests, json

endpoint = "https://api.olostep.com/v1/scrapes"
payload = {
  "url_to_scrape": "https://www.berklee.edu/events/stefano-marchese-friends",
  "formats": ["markdown", "json"],
  "llm_extract": {
    "schema": {
      "event": {
        "type": "object",
        "properties": {
          "title": {"type": "string"},
          "date": {"type": "string"},
          "description": {"type": "string"},
          "venue": {"type": "string"},
          "address": {"type": "string"},
          "start_time": {"type": "string"}
        }
      }
    }
  }
}
headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}
res = requests.post(endpoint, json=payload, headers=headers)
print(json.dumps(res.json(), indent=2))

​

Interagire con la pagina con Azioni

• wait con milliseconds
• click con selector
• fill_input con selector e value
• scroll con direction e amount

​

Esempio

import requests, json

endpoint = "https://api.olostep.com/v1/scrapes"
payload = {
  "url_to_scrape": "https://example.com/login",
  "formats": ["markdown"],
  "actions": [
    {"type": "fill_input", "selector": "input[type=email]", "value": "john@example.com"},
    {"type": "wait", "milliseconds": 500},
    {"type": "fill_input", "selector": "input[type=password]", "value": "secret"},
    {"type": "click", "selector": "button[type=\"submit\"]"},
    {"type": "wait", "milliseconds": 1500}
  ]
}
headers = {
    "Authorization": "Bearer <YOUR_API_KEY>", 
    "Content-Type": "application/json"
}
res = requests.post(endpoint, json=payload, headers=headers)
print(json.dumps(res.json(), indent=2))

​

Casi d’Uso

​

Analisi dei Contenuti & Ricerca

• Analisi Competitiva: Estrai dettagli di prodotto, prezzi e caratteristiche dai siti dei concorrenti
• Ricerca di Mercato: Analizza landing page, descrizioni di prodotto e testimonianze dei clienti
• Ricerca Accademica: Raccogli dati specifici da pubblicazioni scientifiche o portali di ricerca
• Documentazione Legale: Estrai studi di caso, regolamenti o precedenti legali da siti ufficiali

​

E-commerce & Retail

• Strategie di Prezzi Dinamici: Ottieni prezzi dei prodotti in tempo reale dai negozi concorrenti
• Gestione delle Informazioni sui Prodotti: Estrai specifiche dettagliate e descrizioni
• Monitoraggio Stock/Inventario: Controlla la disponibilità dei prodotti presso altri rivenditori
• Analisi delle Recensioni: Raccogli feedback dei consumatori e sentiment per prodotti specifici

​

Marketing & Creazione di Contenuti

• Curazione di Contenuti: Estrai articoli e post di blog rilevanti per newsletter
• Analisi SEO: Esamina l’uso delle parole chiave dei concorrenti, meta descrizioni e struttura della pagina
• Generazione di Lead: Estrai informazioni di contatto da directory aziendali o pagine aziendali
• Ricerca di Influencer: Raccogli metriche di coinvolgimento e stili di contenuto dai profili degli influencer
• Generazione Personalizzata di Social Media: Crea marketing sui social media alimentato da AI analizzando i siti web dei clienti

​

Applicazioni di Dati

• Raccolta Dati per l’Addestramento AI: Raccogli esempi specifici per modelli di machine learning
• Costruzione di Basi di Conoscenza Personalizzate: Estrai documentazione o istruzioni da siti software
• Archivi Storici di Dati: Preserva il contenuto del sito web in momenti specifici
• Estrazione di Dati Strutturati: Trasforma il contenuto web in dataset formattati per l’analisi

​

Monitoraggio & Avvisi

• Monitoraggio della Conformità Normativa: Traccia le modifiche ai siti web legali o normativi
• Gestione delle Crisi: Monitora i siti di notizie per menzioni di eventi o organizzazioni specifiche
• Tracciamento degli Eventi: Estrai dettagli su eventi imminenti da siti di sedi o organizzatori
• Monitoraggio dello Stato del Servizio: Controlla le pagine di stato del servizio per piattaforme o strumenti specifici

​

Pubblicazione & Media

• Aggregazione di Notizie: Estrai notizie dell’ultima ora da fonti ufficiali
• Monitoraggio dei Media: Traccia argomenti specifici su siti di notizie
• Verifica dei Contenuti: Estrai informazioni per verificare affermazioni o dichiarazioni
• Estrazione Multimediale: Raccogli video, immagini o audio incorporati per librerie multimediali

​

Applicazioni Finanziarie

• Ricerca sugli Investimenti: Estrai bilanci o rapporti annuali dai siti web aziendali
• Indicatori Economici: Raccogli dati economici da siti web governativi o istituzioni finanziarie
• Dati sulle Criptovalute: Estrai prezzi in tempo reale e informazioni sulla capitalizzazione di mercato
• Analisi delle Notizie Finanziarie: Monitora i siti di notizie finanziarie per segnali di mercato specifici

​

Applicazioni Tecniche

• Estrazione della Documentazione API: Raccogli documentazione tecnica per riferimento
• Test di Integrazione: Estrai elementi del sito web per verificare integrazioni di terze parti
• Test di Accessibilità: Analizza la struttura del sito web per la conformità agli standard di accessibilità
• Creazione di Archivi Web: Cattura il contenuto completo del sito web per la conservazione storica

​

Scenari di Integrazione

• Sistemi CRM: Migliora i profili dei clienti con dati dai siti web aziendali o Linkedin
• Sistemi di Gestione dei Contenuti: Importa contenuti esterni rilevanti
• Strumenti di Business Intelligence: Integra dati interni con informazioni di mercato esterne
• Software di Gestione Progetti: Estrai specifiche o requisiti dai siti web dei clienti
• Dashboard Personalizzati: Visualizza dati estratti insieme a metriche interne

​

Prezzi