Obtenez le contenu de plusieurs sites web en une seule fois

Aperçu

L’endpoint Batches d’Olostep vous permet de démarrer un lot de jusqu’à 100 000 URL et de récupérer le contenu en 5 à 7 minutes. Si vous avez besoin de plus d’échelle, veuillez nous contacter. C’est utile si vous avez déjà les URL que vous souhaitez traiter — par exemple, pour agréger des données pour l’analyse, construire un outil de recherche spécialisé, ou surveiller plusieurs sites web pour des changements. Dans ce guide, nous allons voir comment démarrer un lot avec une liste d’URL et récupérer le contenu au format markdown.

Gist avec le Code Complet

Voici tout le code dans un gist que vous pouvez copier et coller pour essayer le grattage par lot avec Olostep : https://gist.github.com/olostep/e903f2e4fc28f8093b834b4df68b8031 Dans ce gist, nous avons montré comment démarrer un lot avec 5 requêtes de recherche Google, vérifier le statut, et récupérer le contenu pour chaque élément.

Prérequis

Avant de commencer, assurez-vous d’avoir les éléments suivants :

Une clé API Olostep valide. Vous pouvez en obtenir une en vous inscrivant sur Olostep.
Python installé sur votre système.
Les bibliothèques requests et hashlib (installez requests avec pip install requests si nécessaire).

Étape 1 : Créer un Lot à partir d’URL Locales

Si vous avez déjà une liste d’URL que vous souhaitez traiter, vous pouvez les définir directement dans votre script. Sinon, vous pouvez les lire à partir d’un fichier ou d’une base de données.

import requests
import hashlib

API_KEY = "YOUR_API_KEY"

def create_hash_id(url):
    return hashlib.sha256(url.encode()).hexdigest()[:16]

def compose_items_array():
    urls = [
        "https://www.google.com/search?q=nikola+tesla&gl=us&hl=en",
        "https://www.google.com/search?q=alexander+the+great&gl=us&hl=en",
        "https://www.google.com/search?q=google+solar+eclipse&gl=us&hl=en",
        "https://www.google.com/search?q=crispr&gl=us&hl=en",
        "https://www.google.com/search?q=genghis%20khan&gl=us&hl=en"
    ]
    return [{"custom_id": create_hash_id(url), "url": url} for url in urls]

def start_batch(items):
    payload = {
        "items": items
    }
    headers = {"Authorization": f"Bearer {API_KEY}"}
    response = requests.post(
        "https://api.olostep.com/v1/batches",
        headers=headers,
        json=payload
    )
    return response.json()["id"]

if __name__ == "__main__":
    items = compose_items_array()
    batch_id = start_batch(items)
    print("Lot démarré. ID :", batch_id)

Étape 2 : Surveiller le Statut du Lot

Une fois le lot démarré, vous pouvez surveiller son statut en utilisant le batch_id qui est retourné lorsque vous démarrez le lot.

import requests

def check_batch_status(batch_id):
    headers = {"Authorization": f"Bearer {API_KEY}"}
    response = requests.get(
        f"https://api.olostep.com/v1/batches/{batch_id}",
        headers=headers
    )
    return response.json()["status"]

Vous pouvez interroger le statut toutes les quelques secondes (par exemple, 10 secondes) jusqu’à ce que le lot soit terminé :

import time

def recursive_check(batch_id):
    status = check_batch_status(batch_id)
    print("Statut :", status)
    if status == "completed":
        print("Le lot est terminé !")
    else:
        time.sleep(60)
        recursive_check(batch_id)

Étape 3 : Récupérer les Éléments Terminés

Une fois le lot marqué comme terminé, récupérez les éléments traités.

import requests

def get_completed_items(batch_id):
    headers = {"Authorization": f"Bearer {API_KEY}"}
    response = requests.get(
        f"https://api.olostep.com/v1/batches/{batch_id}/items",
        headers=headers
    )
    return response.json()["items"]

Chaque élément inclura un retrieve_id que vous pouvez utiliser pour récupérer le contenu extrait.

items = get_completed_items(batch_id)
for item in items:
    print(f"URL: {item['url']}\nCustom ID: {item['custom_id']}\nRetrieve ID: {item['retrieve_id']}\n---")

Étape 4 : Récupérer le Contenu

Utilisez le retrieve_id pour obtenir le contenu extrait en markdown, html ou json. Voici un exemple pour récupérer le contenu au format markdown :

def retrieve_content(retrieve_id):
    url = "https://api.olostep.com/v1/retrieve"
    headers = {"Authorization": f"Bearer {API_KEY}"}
    params = {"retrieve_id": retrieve_id}

    response = requests.get(url, headers=headers, params=params)
    return response.json()

# Exemple d'utilisation :
items = get_completed_items(batch_id)
for item in items:
    content = retrieve_content(item['retrieve_id'])
    print(content)

Contenu Hébergé

Nous hébergeons également le contenu pendant 7 jours, vous pouvez donc le récupérer plusieurs fois sans le regratter. Exemple d’une URL hébergée pour du contenu markdown

Exemples de Cas d’Utilisation

1. Construire des Moteurs de Recherche

Utilisez Olostep pour extraire du contenu de sites web spécifiques à un secteur (juridique, médical, IA) et construire une base de données consultable.

2. Surveillance de Sites Web

Surveillez la disponibilité des produits, les changements de prix, ou les mises à jour d’actualités sur plusieurs sites web en planifiant des grattages par lot quotidiens.

3. Surveillance des Réseaux Sociaux

Grattez les mentions de votre marque ou de mots-clés à travers des forums ou des sources de contenu et extrayez des données structurées.

4. Agrégateurs

Construisez un tableau d’offres d’emploi, un agrégateur de nouvelles, ou une plateforme de listes immobilières en tirant des données de dizaines de sources.

Conclusion

Avec le grattage par lot, vous pouvez extraire du contenu de jusqu’à 100k URL rapidement et efficacement. Que vous construisiez des outils de recherche, des agrégateurs, ou des systèmes de surveillance, les Lots d’Olostep simplifient le travail. Vous souhaitez extraire uniquement des données structurées ? Utilisez les Parsers pour obtenir uniquement les champs dont vous avez besoin. Besoin d’aide ? Contactez info@olostep.com pour obtenir de l’assistance ou pour que nous écrivions des scripts personnalisés pour votre cas d’utilisation.

​Aperçu

​Gist avec le Code Complet

​Prérequis

​Étape 1 : Créer un Lot à partir d’URL Locales

​Étape 2 : Surveiller le Statut du Lot

​Étape 3 : Récupérer les Éléments Terminés

​Étape 4 : Récupérer le Contenu

​Contenu Hébergé

​Exemples de Cas d’Utilisation

​1. Construire des Moteurs de Recherche

​2. Surveillance de Sites Web

​3. Surveillance des Réseaux Sociaux

​4. Agrégateurs

​Conclusion