Vai al contenuto principale
Attraverso l’endpoint /v1/maps di Olostep puoi ottenere tutti gli URL su un sito web. Questo è utile per la scoperta di contenuti, l’analisi della struttura del sito (ad esempio, SEO) o per decidere quali URL vuoi estrarre successivamente.
  • Ottieni tutti gli URL su un sito web (inclusi sitemaps e link scoperti)
  • Usa pattern speciali per includere/escludere percorsi (ad esempio /blog/**)
  • Pagina le risposte grandi con cursor (fino a 10MB per risposta)
  • Limita il volume con top_n
Per i dettagli sull’API, consulta la Riferimento API dell’Endpoint Mappa.

​
Installazione

# pip install requests

import requests

​
Utilizzo

Invia una richiesta POST con l’url del sito web. Opzionalmente passa include_urls, exclude_urls (pattern glob) e top_n. 
import requests
import json

endpoint = "https://api.olostep.com/v1/maps"

payload = {
    "url": "https://docs.olostep.com"
}
headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}

response = requests.post(endpoint, json=payload, headers=headers)
print(json.dumps(response.json(), indent=2))
Il tempo di risposta è tipicamente entro pochi secondi ma può richiedere fino a 120 secondi per siti web più complessi. Può estrarre tutti gli URL da un sito web, inclusi i backlink e quelli non presenti nei Sitemaps. Puoi anche decidere i percorsi degli URL che vuoi includere o escludere dalla risposta. Di default, l’endpoint restituisce circa 100k URL in una singola chiamata (massimo 10MB). Se la risposta include più dati, l’API restituisce un parametro cursor che può essere usato per la paginazione e ottenere gli URL successivi. Per maggiori dettagli, consulta la Riferimento API. Questo endpoint è particolarmente utile quando hai bisogno di:
  • Scoprire tutte le pagine di contenuto su un sito web
  • Analizzare la struttura e la gerarchia del sito
  • Preparare gli URL per l’elaborazione in batch
  • Decidere quali URL specifici estrarre
Per un controllo più dettagliato sugli URL restituiti, puoi usare i parametri include_urls e exclude_urls.

​
Esempio

Supponiamo che da www.brex.com tu voglia estrarre tutti gli URL che hanno i percorsi dopo /product/, ad esempio https://www.brex.com/product/api/no-code, ma includere anche www.brex.com/product. Puoi usare il seguente codice: 
import requests

endpoint = "https://api.olostep.com/v1/maps"

payload = {
    "url": "https://www.brex.com/",
    "include_urls": ["/product", "/product/**"],
    "top_n": 100000
}

headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}

response = requests.post(endpoint, json=payload, headers=headers)

print(response.text)

​
Conclusione

L’endpoint delle mappe è uno strumento potente per la scoperta di contenuti e l’analisi del sito. Fornisce un elenco completo di URL su un sito web, permettendoti di estrarre contenuti da pagine specifiche o analizzare la struttura del sito. Questo endpoint è particolarmente utile per i professionisti SEO, i content marketer, gli agenti AI che hanno bisogno di analizzare il contenuto o la struttura del sito web.

​
Prezzi

La mappa costa 1 credito. Poi, per ogni 1000 URL aggiuntivi restituiti nella risposta, viene addebitato un credito aggiuntivo.