Use this file to discover all available pages before exploring further.
Attraverso l’endpoint /v1/maps di Olostep puoi ottenere tutti gli URL su un sito web. Questo è utile per la scoperta di contenuti, l’analisi della struttura del sito (ad esempio, SEO), o per decidere quali URL vuoi estrarre successivamente.
Ottieni tutti gli URL su un sito web (inclusi sitemaps e link scoperti)
Usa pattern speciali per includere/escludere percorsi (es. /blog/**)
Pagina risposte grandi con cursor (fino a 10MB per risposta)
Invia una richiesta POST con l’url del sito web. Facoltativamente passa include_urls, exclude_urls (pattern glob), e top_n.
from olostep import Olostepclient = Olostep(api_key="YOUR_REAL_KEY")sitemap = client.maps.create(url="https://docs.olostep.com")for url in sitemap.urls(): print(url)
Il tempo di risposta è tipicamente di pochi secondi ma può richiedere fino a 120 secondi per siti web più complessi. Può estrarre tutti gli URL da un sito web, inclusi i backlink e quelli non presenti nei Sitemaps. Puoi anche decidere i percorsi degli URL che vuoi includere o escludere dalla risposta.Di default l’endpoint restituisce circa 100k URL in una singola chiamata (massimo 10MB). Se la risposta include più dati, l’API restituisce un parametro cursor che può essere utilizzato per la paginazione e per ottenere gli URL successivi. Per maggiori dettagli consulta la Riferimento API.Questo endpoint è particolarmente utile quando hai bisogno di:
Scoprire tutte le pagine di contenuto su un sito web
Analizzare la struttura e la gerarchia del sito
Preparare URL per l’elaborazione in batch
Decidere quali URL specifici estrarre
Per un controllo più dettagliato sugli URL restituiti puoi usare i parametri include_urls e exclude_urls.
Supponiamo che da www.brex.com tu voglia estrarre tutti gli URL che hanno i percorsi dopo /product/ ad esempio https://www.brex.com/product/api/no-code ma anche includere www.brex.com/product.
Puoi usare il seguente codice:
from olostep import Olostepclient = Olostep(api_key="YOUR_REAL_KEY")sitemap = client.maps.create( url="https://www.brex.com/", include_urls=["/product", "/product/**"], top_n=100000,)for url in sitemap.urls(): print(url)
L’endpoint delle mappe è uno strumento potente per la scoperta di contenuti e l’analisi del sito. Fornisce un elenco completo di URL su un sito web, permettendoti di estrarre contenuti da pagine specifiche o analizzare la struttura del sito. Questo endpoint è particolarmente utile per i professionisti SEO, i content marketer, gli agenti AI che devono analizzare il contenuto o la struttura del sito web.
