Mappe

Attraverso l’endpoint /v1/maps di Olostep puoi ottenere tutti gli URL su un sito web. Questo è utile per la scoperta di contenuti, l’analisi della struttura del sito (ad esempio, SEO) o per decidere quali URL vuoi estrarre successivamente.

Ottieni tutti gli URL su un sito web (inclusi sitemap e link scoperti)
Usa modelli speciali per includere/escludere percorsi (ad esempio /blog/**)
Pagina risposte grandi con cursor (fino a 10MB per risposta)
Limita il volume con top_n

Per i dettagli dell’API vedi la Riferimento API dell’Endpoint Mappa.

Installazione

pip install olostep

npm install olostep

# curl è disponibile di default su macOS, Linux e Windows

npm install node-fetch

pip install requests

Utilizzo

Invia una richiesta POST con l’url del sito web. Opzionalmente passa include_urls, exclude_urls (modelli glob), e top_n.

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

sitemap = client.maps.create(url="https://docs.olostep.com")

for url in sitemap.urls():
    print(url)

import Olostep from 'olostep'

const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })

const map = await client.maps.create({ url: 'https://docs.olostep.com' })

for await (const url of map.urls()) {
  console.log(url)
}

curl -s -X POST "https://api.olostep.com/v1/maps" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://docs.olostep.com"
  }'

olostep map "https://docs.olostep.com"

const res = await fetch('https://api.olostep.com/v1/maps', {
  method: 'POST',
  headers: {
    'Authorization': 'Bearer <YOUR_API_KEY>',
    'Content-Type': 'application/json'
  },
  body: JSON.stringify({ url: 'https://docs.olostep.com' })
})
console.log(await res.json())

import requests
import json

endpoint = "https://api.olostep.com/v1/maps"

payload = {
    "url": "https://docs.olostep.com"
}
headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}

response = requests.post(endpoint, json=payload, headers=headers)
print(json.dumps(response.json(), indent=2))

Il tempo di risposta è tipicamente entro pochi secondi ma può richiedere fino a 120 secondi per siti web più complessi. Può estrarre tutti gli URL da un sito web, anche backlink e quelli non presenti nei Sitemaps. Puoi anche decidere i percorsi degli URL che vuoi includere o escludere dalla risposta. Per impostazione predefinita l’endpoint restituisce circa 100k URL in una singola chiamata (10MB max). Se la risposta include più dati, l’API restituisce un parametro cursor che può essere utilizzato per la paginazione e ottenere gli URL successivi. Per maggiori dettagli fai riferimento alla Riferimento API Questo endpoint è particolarmente utile quando hai bisogno di:

Scoprire tutte le pagine di contenuto su un sito web
Analizzare la struttura e la gerarchia del sito
Preparare gli URL per l’elaborazione in batch
Decidere quali URL specifici estrarre

Per un controllo più dettagliato sugli URL restituiti puoi utilizzare i parametri include_urls e exclude_urls.

Esempio

Supponiamo che da www.brex.com tu voglia estrarre tutti gli URL che hanno i percorsi dopo /product/ ad esempio https://www.brex.com/product/api/no-code ma includere anche www.brex.com/product. Puoi usare il seguente codice:

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

sitemap = client.maps.create(
    url="https://www.brex.com/",
    include_urls=["/product", "/product/**"],
    top_n=100000,
)

for url in sitemap.urls():
    print(url)

import Olostep from 'olostep'

const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })

const map = await client.maps.create({
  url: 'https://www.brex.com/',
  includeUrls: ['/product', '/product/**'],
  topN: 100000,
})

for await (const url of map.urls()) {
  console.log(url)
}

curl -s -X POST "https://api.olostep.com/v1/maps" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://www.brex.com/",
    "include_urls": ["/product", "/product/**"],
    "top_n": 100000
  }'

olostep map "https://www.brex.com/" \
  --include-url "/product" \
  --include-url "/product/**" \
  --top-n 100000

const endpoint = 'https://api.olostep.com/v1/maps'

const res = await fetch(endpoint, {
  method: 'POST',
  headers: {
    'Authorization': 'Bearer <YOUR_API_KEY>',
    'Content-Type': 'application/json'
  },
  body: JSON.stringify({
    url: 'https://www.brex.com/',
    include_urls: ['/product', '/product/**'],
    top_n: 100000
  })
})
console.log(await res.text())

import requests

endpoint = "https://api.olostep.com/v1/maps"

payload = {
    "url": "https://www.brex.com/",
    "include_urls": ["/product", "/product/**"],
    "top_n": 100000
}

headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}

response = requests.post(endpoint, json=payload, headers=headers)

print(response.text)

Conclusione

L’endpoint delle mappe è uno strumento potente per la scoperta di contenuti e l’analisi del sito. Fornisce un elenco completo di URL su un sito web, permettendoti di estrarre contenuti da pagine specifiche o analizzare la struttura del sito. Questo endpoint è particolarmente utile per i professionisti SEO, i content marketer, gli agenti AI che devono analizzare il contenuto o la struttura del sito web.

Archiviazione

I file archiviati per una mappa sono conservati per 7 giorni per impostazione predefinita. Passa un oggetto storage su POST /v1/maps per conservarli più a lungo o indefinitamente. L’impostazione copre il risultato della mappa e le pagine estratte durante la scoperta degli URL.

Parametro	Tipo	Predefinito	Descrizione
`storage.expires_in`	`string`	`7d`	Quanto tempo conservare i file archiviati. Uno di `7d`, `10d`, `30d`, `60d`, `90d`, `180d`, `365d`, o `never` (indefinito).

Omettendo storage, o inviando storage senza expires_in, si utilizza 7d. Sia la risposta di creazione che GET /v1/maps/{map_id} includono il valore in vigore:

"storage": { "expires_in": "30d" }

cURL

curl -s -X POST "https://api.olostep.com/v1/maps" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com",
    "storage": { "expires_in": "30d" }
  }'

Un valore non valido restituisce 400:

{
  "type": "invalid_request_error",
  "message": "Invalid storage.expires_in. Allowed values: \"7d\", \"10d\", \"30d\", \"60d\", \"90d\", \"180d\", \"365d\", \"never\".",
  "code": "invalid_storage_expires_in"
}

Prezzi

La mappa costa 1 credito. Poi per ogni 1000 URL extra restituiti nella risposta, viene addebitato un credito aggiuntivo.

Inizia

Funzionalità

Saldo e Fatturazione

Installazione

Utilizzo

Esempio

Conclusione

Archiviazione

Prezzi

​Installazione

​Utilizzo

​Esempio

​Conclusione

​Archiviazione

​Prezzi

Installazione

Utilizzo

Esempio

Conclusione

Archiviazione

Prezzi