Integrazione Olostep + Apify

Olostep è un’API per la ricerca, il scraping e il crawling web — un’API per cercare, estrarre e strutturare dati web. Questa guida mostra come utilizzare Olostep con gli Attori di Apify per costruire pipeline affidabili di dati web end‑to‑end.

Cosa puoi costruire

Scrape Sito Web

Estrai contenuti da qualsiasi URL singolo in Markdown, HTML, JSON o Testo

Scrape URL in Batch

Processa grandi liste di URL in parallelo con output strutturati

Crea Crawl

Scopri e fai scraping delle pagine collegate per costruire dataset completi

Crea Mappa

Estrai tutti gli URL da un sito web (scoperta tipo sitemap)

Risposte AI

Fai domande e ottieni risposte JSON strutturate con fonti

Inizio rapido

1) Installa Apify CLI

npm install -g apify-cli
apify --version

2) Ottieni la tua chiave API Olostep

Dal Dashboard Olostep → Chiavi API.

3) Esegui l’Attore Olostep localmente

cd olostep-tools/integrations/apify
apify run

Il file di input locale predefinito si trova in: olostep-tools/integrations/apify/storage/key_value_stores/default/INPUT.json Esempio di input:

{
  "operation": "scrape",
  "apiKey": "YOUR_OLostep_API_KEY",
  "url_to_scrape": "https://example.com",
  "formats": "markdown"
}

4) Distribuisci su Apify (cloud)

apify login
apify push

Poi apri la Console Apify → Attori → esegui l’attore con il tuo input desiderato.

Esegui nella Console Apify (passo dopo passo)

Apri il tuo Attore nella Console Apify → Sorgente → Input.
Nella scheda Manuale vedrai un campo visibile “Chiave API Olostep”. Incolla la tua chiave dal Dashboard Olostep.
Scegli un’operazione (predefinito è “scrape”).
Compila i campi rilevanti (per “scrape”, imposta “URL da Scrape”).
Clicca Salva → Avvia.
Quando l’esecuzione termina, apri la scheda Dataset per scaricare i risultati (JSON/CSV/Excel).

Note:

Per “URL da Scrape”, puoi incollare con o senza schema. Se manca, l’attore predispone automaticamente https://.
Se un sito è pesante in JavaScript e vedi un timeout, imposta “Attendi Prima di Scrape” su 2000–5000 ms e riprova.

Operazioni disponibili

Scrape Sito Web

Estrai contenuti da un singolo URL. Ottimo per l’automazione a livello di pagina.

constant

predefinito:"scrape"

Deve essere “scrape”

string

obbligatorio

La tua chiave API Olostep (Bearer)

string

obbligatorio

L’URL da fare scraping (deve includere http:// o https://)

dropdown

predefinito:"markdown"

Uno di: Markdown, HTML, JSON, Testo

string

Codice paese opzionale (es., “US”, “GB”, “CA”)

integer

Tempo di attesa opzionale in ms per il rendering JavaScript (0–10000)

string

ID parser opzionale (es., “@olostep/amazon-product”)

Campi di output:

id, url, status, formats
markdown_content / html_content / json_content / text_content
URL ospitati (se disponibili), metadati della pagina

Scrape URL in Batch

Processa molti URL contemporaneamente con formattazione e struttura coerenti.

constant

predefinito:"batch"

Deve essere “batch”

string

obbligatorio

La tua chiave API Olostep

text

obbligatorio

Array JSON di oggetti con url e opzionale custom_id
Esempio: [{"url":"https://example.com","custom_id":"site1"}]

dropdown

predefinito:"markdown"

Uno di: Markdown, HTML, JSON, Testo

string

Codice paese opzionale

integer

Tempo di attesa opzionale in ms per siti JS

string

ID parser opzionale

Campi di output:

batch_id, status, total_urls, created_at, formats, country, parser, urls[]

Crea Crawl

Segui i link e fai scraping di più pagine da un URL di partenza.

constant

predefinito:"crawl"

Deve essere “crawl”

string

obbligatorio

La tua chiave API Olostep

string

obbligatorio

URL di partenza per il crawl

integer

predefinito:"10"

Massimo pagine da fare crawling. Imposta su 1 per fare scraping solo dell’URL di partenza.

dropdown

predefinito:"markdown"

Uno di: Markdown, HTML, JSON, Testo

string

Codice paese opzionale

string

ID parser opzionale

Campi di output:

crawl_id, object, status, start_url, max_pages, created, formats

Crea Mappa

Scopri tutti gli URL su un sito web e preparati per il successivo scraping in batch.

constant

predefinito:"map"

Deve essere “map”

string

obbligatorio

La tua chiave API Olostep

string

obbligatorio

Il sito web da mappare

string

Filtro query opzionale

integer

Limita il numero di URL

string

Includi glob(s), es. “/products/**”

string

Escludi glob(s), es. “/admin/**”

Campi di output:

map_id, object, website_url, total_urls, urls[], search_query, top_n

Esempi JSON da copiare e incollare (Console → Input → JSON)

Scrape

{
  "operation": "scrape",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "url_to_scrape": "https://www.wikipedia.org",
  "formats": "markdown",
  "wait_before_scraping": 2000
}

Batch

{
  "operation": "batch",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "batch_array": "[{\"url\":\"https://example.com\",\"custom_id\":\"site1\"},{\"url\":\"https://olostep.com\",\"custom_id\":\"site2\"}]",
  "formats": "json"
}

Crawl

{
  "operation": "crawl",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "start_url": "https://docs.example.com",
  "max_pages": 50,
  "formats": "markdown"
}

Mappa

{
  "operation": "map",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "website_url": "https://example.com",
  "include_patterns": "/blog/**",
  "top_n": 200
}

Risposte

{
  "operation": "answers",
  "apiKey": "YOUR_OLOSTEP_API_KEY",
  "task": "What is the latest funding round of Olostep? Provide company, round, date, amount.",
  "json": "{\"company\":\"\",\"round\":\"\",\"date\":\"\",\"amount\":\"\"}"
}

Esempi di flussi di lavoro

Scopri e Fai Scraping di Prodotti

Crea Mappa → include “/products/**”
Analizza URL → costruisci array batch
Scrape URL in Batch → formati: JSON
Invia a Google Sheets / Airtable

Monitoraggio Contenuti Giornaliero

Pianifica attore (giornaliero)
Scrape Sito Web → formati: Markdown
Riassumi con LLM
Notifica su Slack

Base di Conoscenza dei Competitor

Crea Crawl (blog/docs)
Archivia output in Notion
Aggiorna settimanalmente con Pianificazione

Parser specializzati

Olostep supporta parser per strutturare dati per siti popolari.

Prodotto Amazon

@olostep/amazon-product → titolo, prezzo, valutazione, recensioni, immagini, varianti

Ricerca Google

@olostep/google-search → risultati, titoli, frammenti, URL

Google Maps

@olostep/google-maps → informazioni aziendali, recensioni, valutazioni, posizione

Altri Parser

Esplora estrattori di email, cercatori di handle social, estrattori di link di calendario e altro

Migliori pratiche

Preferisci batch per 3+ URL

Più veloce, economico, facile da monitorare e rispettare i limiti di velocità.

Usa tempi di attesa appropriati

Siti pesanti in JS: aumenta wait_before_scraping (es., 2000–5000ms).

Filtra prima di fare scraping

Evita compiti inutili — controlla prima le modifiche, mantieni lo stato di deduplicazione.

Archivia grandi contenuti tramite URL ospitati

Usa output ospitati per bypassare i limiti di dimensione del payload nei flussi Apify.

Tratta le operazioni asincrone come a lungo termine

Batch/Crawl/Map restituiscono ID; recupera più tardi o concatenali con un ritardo.

Gestisci i timeout transitori in modo pulito

Se vedi un 504 o un timeout transitorio, l’attore riprova automaticamente una volta con un breve tempo di attesa.
Puoi anche impostare “Attendi Prima di Scrape” su 2000–5000 ms per pagine pesanti in JS.

Risoluzione dei problemi

Autenticazione fallita

Controlla la chiave API dal dashboard
Rimuovi spazi finali
Reinserisci nel modulo di input Apify

Contenuto vuoto

Aumenta il tempo di attesa
Verifica che l’URL sia pubblico / non protetto da login
Prova un formato di output diverso

Limite di velocità superato

Spazia le esecuzioni tramite pianificazione
Preferisci batch per molti URL
Aggiorna il piano Olostep se necessario

Siti bloccati o dinamici

Prova il parametro paese
Regola attesa e parser
Contatta il supporto per assistenza

Prezzi

Olostep addebita in base all’uso dell’API (indipendentemente da Apify):

Scrapes → per scrape
Batches → per URL
Crawls → per pagina
Maps → per operazione

Vedi https://www.olostep.com/pricing.

Sicurezza

La tua chiave API è inviata come token Bearer a runtime.
Non commettere chiavi nel controllo versione; Apify memorizza gli input nel Key‑Value Store.
Nello sviluppo locale, mantieni le chiavi in storage/key_value_stores/default/INPUT.json (gitignored).

Risorse correlate

API Scrapes

Estrai Markdown, HTML, testo o JSON strutturato compatibile con LLM da qualsiasi URL.

API Batches

Processa fino a 100k URL contemporaneamente e recupera i risultati in seguito.

API Crawls

Scopri e fai scraping ricorsivamente del contenuto di un sito.

API Maps

Ottieni tutti gli URL su un sito web per preparare scraping in batch.

Supporto

Sito Web Apify

Piattaforma Apify

Documentazione Apify

Documentazione piattaforma & SDK Apify

Documentazione

Documentazione completa API

Email di Supporto

info@olostep.com

​Cosa puoi costruire

Scrape Sito Web

Scrape URL in Batch

Crea Crawl

Crea Mappa

Risposte AI

​Inizio rapido

​1) Installa Apify CLI

​2) Ottieni la tua chiave API Olostep

​3) Esegui l’Attore Olostep localmente

​4) Distribuisci su Apify (cloud)

​Esegui nella Console Apify (passo dopo passo)

​Operazioni disponibili

​Scrape Sito Web

​Scrape URL in Batch

​Crea Crawl

​Crea Mappa

​Esempi JSON da copiare e incollare (Console → Input → JSON)

​Scrape

​Batch

​Crawl

​Mappa

​Risposte

​Esempi di flussi di lavoro

​Parser specializzati

Prodotto Amazon

Ricerca Google

Google Maps

Altri Parser

​Migliori pratiche

​Risoluzione dei problemi

​Prezzi

​Sicurezza

​Risorse correlate

API Scrapes

API Batches

API Crawls

API Maps

​Supporto

Sito Web Apify

Documentazione Apify

Documentazione

Email di Supporto

Cosa puoi costruire

Inizio rapido

1) Installa Apify CLI

2) Ottieni la tua chiave API Olostep

3) Esegui l’Attore Olostep localmente

4) Distribuisci su Apify (cloud)

Esegui nella Console Apify (passo dopo passo)

Operazioni disponibili

Scrape Sito Web

Scrape URL in Batch

Crea Crawl

Crea Mappa

Esempi JSON da copiare e incollare (Console → Input → JSON)

Scrape

Batch

Crawl

Mappa

Risposte

Esempi di flussi di lavoro

Parser specializzati

Migliori pratiche

Risoluzione dei problemi

Prezzi

Sicurezza

Risorse correlate

Supporto