Commencer
Le SDK NodeJS accepte à la fois camelCase et snake_case pour tous les paramètres. Utilise snake_case si tu développes pour des agents IA, cela correspond aux noms de champs natifs de l’API.
Utilisation
Scraping
Scrape une seule URL avec diverses options :Traitement par lots
Traite plusieurs URLs dans un seul lot :Exploration
Explore un site entier :Cartographie du site
Génère un plan du site des URLs d’un site web :Réponses alimentées par l’IA
Obtiens des réponses à partir de pages web en utilisant l’IA :Récupération de contenu
Récupérer le contenu précédemment scrappé :Options avancées
Actions personnalisées
Effectuer des actions de navigateur avant le scraping :Localisation géographique
Scraper depuis différents pays en utilisant des codes pays prédéfinis ou tout code pays valide :Mise en cache
Par défaut, chaque demande de scraping récupère la page fraîche (max_age: 0). Passe maxAge pour réutiliser un résultat récent avec les mêmes paramètres et améliorer le temps de réponse. La valeur est en secondes ; le maximum est de 7 jours (604800). Voir Mise en cache pour plus de détails.
Stockage
Par défaut, un résultat de scraping est conservé environ 7 jours. Passestorage.expires_in comme 10d, 30d, 60d, 90d, 180d, 365d, ou never pour le conserver plus longtemps. Voir Stockage pour plus de détails.
Extraction LLM
Extraire des données structurées en utilisant des LLMs.schema est un schéma JSON avec un objet au niveau supérieur :
Configuration du client
Points forts des fonctionnalités
- Client orienté asynchrone avec prise en charge complète de TypeScript.
- Entrées sûres grâce à TypeScript avec des énumérations et interfaces (Formats, Pays, Actions, etc.).
- Espaces de noms riches en ressources avec des appels abrégés (
client.scrapes.create()) et des méthodes explicites (client.scrapes.get()). - Couche de transport partagée avec reprises, délais d’attente et décodage JSON.
- Hiérarchie d’erreurs complète