Passer au contenu principal
Grâce à l’endpoint Olostep /v1/maps, tu peux obtenir toutes les URLs d’un site web. Cela est utile pour la découverte de contenu, l’analyse de la structure du site (par exemple, SEO), ou pour décider quelles URLs tu souhaites scraper ensuite.
  • Obtenez toutes les URLs d’un site web (y compris les sitemaps et les liens découverts)
  • Utilisez des motifs spéciaux pour inclure/exclure des chemins (par exemple, /blog/**)
  • Paginer les réponses volumineuses avec cursor (jusqu’à 10 Mo par réponse)
  • Limiter le volume avec top_n
Pour les détails de l’API, voir la Référence de l’API de l’Endpoint Carte.

​
Installation

# pip install requests

import requests

​
Utilisation

Envoie une requête POST avec l’url du site web. Tu peux éventuellement passer include_urls, exclude_urls (motifs globaux), et top_n. 
import requests
import json

endpoint = "https://api.olostep.com/v1/maps"

payload = {
    "url": "https://docs.olostep.com"
}
headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}

response = requests.post(endpoint, json=payload, headers=headers)
print(json.dumps(response.json(), indent=2))
Le temps de réponse est généralement de quelques secondes, mais peut aller jusqu’à 120 secondes pour les sites web plus complexes. Il peut extraire toutes les URLs d’un site web, y compris les backlinks et celles qui ne sont pas présentes dans les Sitemaps. Tu peux aussi décider des chemins d’URLs que tu souhaites inclure ou exclure de la réponse. Par défaut, l’endpoint renvoie environ 100k URLs en un seul appel (10 Mo max). Si la réponse inclut plus de données, l’API renvoie un paramètre cursor qui peut être utilisé pour la pagination et pour obtenir les URLs suivantes. Pour plus de détails, consulte la Référence de l’API. Cet endpoint est particulièrement utile lorsque tu as besoin de :
  • Découvrir toutes les pages de contenu d’un site web
  • Analyser la structure et la hiérarchie du site
  • Préparer les URLs pour un traitement par lots
  • Décider quelles URLs spécifiques scraper
Pour un contrôle plus précis sur les URLs retournées, tu peux utiliser les paramètres include_urls et exclude_urls.

​
Exemple

Disons que depuis www.brex.com, tu veux extraire toutes les URLs qui ont les chemins après /product/, par exemple https://www.brex.com/product/api/no-code, mais aussi inclure www.brex.com/product. Tu peux utiliser le code suivant : 
import requests

endpoint = "https://api.olostep.com/v1/maps"

payload = {
    "url": "https://www.brex.com/",
    "include_urls": ["/product", "/product/**"],
    "top_n": 100000
}

headers = {
    "Authorization": "Bearer <YOUR_API_KEY>",
    "Content-Type": "application/json"
}

response = requests.post(endpoint, json=payload, headers=headers)

print(response.text)

​
Conclusion

L’endpoint cartes est un outil puissant pour la découverte de contenu et l’analyse de site. Il fournit une liste complète des URLs d’un site web, te permettant d’extraire du contenu de pages spécifiques ou d’analyser la structure du site. Cet endpoint est particulièrement utile pour les professionnels du SEO, les spécialistes du marketing de contenu, et les agents d’IA qui ont besoin d’analyser le contenu ou la structure d’un site web.

​
Tarification

La carte coûte 1 crédit. Ensuite, pour chaque tranche de 1000 URLs supplémentaires retournées dans la réponse, un crédit supplémentaire est facturé.