Extraire les URLs de blog du site web de Stripe

import requests
import time
import json

# Configuration
API_URL = 'https://api.olostep.com/v1'
API_KEY = '<your_olostep_api_key>'
HEADERS = {
    'Content-Type': 'application/json',
    'Authorization': f'Bearer {API_KEY}'
}

# Heure de début pour le suivi de la latence
start_time = time.time()

# Définir la charge utile avec les modèles d'URL à inclure
payload = {
    "url": "https://stripe.com",
    "include_urls": ["/blog", "/blog/**"]  # Correspond à /blog et à tous les chemins sous /blog
}

# Faire la requête
response = requests.post(f'{API_URL}/maps', headers=HEADERS, json=payload)

# Calculer la latence
latency = round((time.time() - start_time) * 1000, 2)
print(f"Requête terminée en {latency}ms")

# Traiter les résultats
data = response.json()
print(f"Trouvé {data['urls_count']} URLs de blog sur le site web de Stripe")

# Imprimer les 10 premières URLs comme échantillon
print("\nExemple d'URLs de blog :")
for url in data['urls'][:10]:
    print(f"- {url}")
    
# Enregistrer les URLs de blog dans un fichier pour un traitement ultérieur
with open('stripe_blog_urls.json', 'w') as f:
    json.dump(data, f, indent=2)
print(f"\nToutes les URLs de blog enregistrées dans stripe_blog_urls.json")

# Définir la charge utile avec des modèles d'URL plus spécifiques
payload = {
    "url": "https://stripe.com",
    "include_urls": ["/blog/engineering", "/blog/engineering/**"]
}