Cartes

Grâce à l’endpoint Olostep /v1/maps, tu peux obtenir toutes les URLs d’un site web. Cela est utile pour la découverte de contenu, l’analyse de la structure du site (par exemple, SEO), ou pour décider quelles URLs tu souhaites scraper ensuite.

Obtiens toutes les URLs d’un site web (y compris les sitemaps et les liens découverts)
Utilise des motifs spéciaux pour inclure/exclure des chemins (par exemple, /blog/**)
Paginer les réponses volumineuses avec cursor (jusqu’à 10 Mo par réponse)
Limiter le volume avec top_n

Pour les détails de l’API, consulte la Référence de l’API de l’Endpoint Carte.

Installation

pip install olostep

npm install olostep

# curl est disponible par défaut sur macOS, Linux et Windows

npm install node-fetch

pip install requests

Utilisation

Envoie une requête POST avec l’url du site web. Tu peux optionnellement passer include_urls, exclude_urls (motifs globaux), et top_n.

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

sitemap = client.maps.create(url="https://docs.olostep.com")

for url in sitemap.urls():
    print(url)

import Olostep from 'olostep'

const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })

const map = await client.maps.create({ url: 'https://docs.olostep.com' })

for await (const url of map.urls()) {
  console.log(url)
}

curl -s -X POST "https://api.olostep.com/v1/maps" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://docs.olostep.com"
  }'

olostep map "https://docs.olostep.com"

const res = await fetch('https://api.olostep.com/v1/maps', {
  method: 'POST',
  headers: {
    'Authorization': 'Bearer <YOUR_API_KEY>',
    'Content-Type': 'application/json'
  },
  body: JSON.stringify({ url: 'https://docs.olostep.com' })
})
console.log(await res.json())

import requests
import json

endpoint = "https://api.olostep.com/v1/maps"

payload = {
    "url": "https://docs.olostep.com"
}
headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}

response = requests.post(endpoint, json=payload, headers=headers)
print(json.dumps(response.json(), indent=2))

Le temps de réponse est généralement de quelques secondes, mais peut prendre jusqu’à 120 secondes pour les sites web plus complexes. Il peut extraire toutes les URLs d’un site web, y compris les backlinks et celles non présentes dans les Sitemaps. Tu peux également décider des chemins d’URLs que tu souhaites inclure ou exclure de la réponse. Par défaut, l’endpoint renvoie environ 100k URLs en un seul appel (10 Mo max). Si la réponse inclut plus de données, l’API renvoie un paramètre cursor qui peut être utilisé pour la pagination et pour obtenir les URLs suivantes. Pour plus de détails, consulte la Référence de l’API. Cet endpoint est particulièrement utile lorsque tu as besoin de :

Découvrir toutes les pages de contenu d’un site web
Analyser la structure et la hiérarchie du site
Préparer les URLs pour un traitement par lots
Décider quelles URLs spécifiques scraper

Pour un contrôle plus précis sur les URLs retournées, tu peux utiliser les paramètres include_urls et exclude_urls.

Exemple

Disons que depuis www.brex.com, tu veux extraire toutes les URLs qui ont les chemins après /product/ par exemple https://www.brex.com/product/api/no-code mais aussi inclure www.brex.com/product. Tu peux utiliser le code suivant :

from olostep import Olostep

client = Olostep(api_key="YOUR_REAL_KEY")

sitemap = client.maps.create(
    url="https://www.brex.com/",
    include_urls=["/product", "/product/**"],
    top_n=100000,
)

for url in sitemap.urls():
    print(url)

import Olostep from 'olostep'

const client = new Olostep({ apiKey: 'YOUR_REAL_KEY' })

const map = await client.maps.create({
  url: 'https://www.brex.com/',
  includeUrls: ['/product', '/product/**'],
  topN: 100000,
})

for await (const url of map.urls()) {
  console.log(url)
}

curl -s -X POST "https://api.olostep.com/v1/maps" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://www.brex.com/",
    "include_urls": ["/product", "/product/**"],
    "top_n": 100000
  }'

olostep map "https://www.brex.com/" \
  --include-url "/product" \
  --include-url "/product/**" \
  --top-n 100000

const endpoint = 'https://api.olostep.com/v1/maps'

const res = await fetch(endpoint, {
  method: 'POST',
  headers: {
    'Authorization': 'Bearer <YOUR_API_KEY>',
    'Content-Type': 'application/json'
  },
  body: JSON.stringify({
    url: 'https://www.brex.com/',
    include_urls: ['/product', '/product/**'],
    top_n: 100000
  })
})
console.log(await res.text())

import requests

endpoint = "https://api.olostep.com/v1/maps"

payload = {
    "url": "https://www.brex.com/",
    "include_urls": ["/product", "/product/**"],
    "top_n": 100000
}

headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}

response = requests.post(endpoint, json=payload, headers=headers)

print(response.text)

Conclusion

L’endpoint des cartes est un outil puissant pour la découverte de contenu et l’analyse de site. Il fournit une liste complète des URLs d’un site web, te permettant d’extraire du contenu de pages spécifiques ou d’analyser la structure du site. Cet endpoint est particulièrement utile pour les professionnels du SEO, les spécialistes du marketing de contenu, et les agents d’IA qui ont besoin d’analyser le contenu ou la structure d’un site web.

Stockage

Les fichiers stockés pour une carte sont conservés pendant 7 jours par défaut. Passe un objet storage sur POST /v1/maps pour les conserver plus longtemps, ou indéfiniment. Le paramètre couvre le résultat de la carte et les pages scrappées lors de la découverte des URLs.

Paramètre	Type	Par défaut	Description
`storage.expires_in`	`string`	`7d`	Durée de conservation des fichiers stockés. L’un des `7d`, `10d`, `30d`, `60d`, `90d`, `180d`, `365d`, ou `never` (indéfini).

Omettre storage, ou envoyer storage sans expires_in, utilise 7d. La réponse de création et GET /v1/maps/{map_id} incluent la valeur en vigueur :

"storage": { "expires_in": "30d" }

cURL

curl -s -X POST "https://api.olostep.com/v1/maps" \
  -H "Authorization: Bearer $OLOSTEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com",
    "storage": { "expires_in": "30d" }
  }'

Une valeur invalide renvoie 400 :

{
  "type": "invalid_request_error",
  "message": "Invalid storage.expires_in. Allowed values: \"7d\", \"10d\", \"30d\", \"60d\", \"90d\", \"180d\", \"365d\", \"never\".",
  "code": "invalid_storage_expires_in"
}

Tarification

La carte coûte 1 crédit. Ensuite, pour chaque tranche supplémentaire de 1000 URLs retournées dans la réponse, un crédit supplémentaire est facturé.

Commencer

Fonctionnalités

Solde et Facturation

Installation

Utilisation

Exemple

Conclusion

Stockage

Tarification

​Installation

​Utilisation

​Exemple

​Conclusion

​Stockage

​Tarification

Installation

Utilisation

Exemple

Conclusion

Stockage

Tarification