Documentation Index
Fetch the complete documentation index at: https://docs.olostep.com/llms.txt
Use this file to discover all available pages before exploring further.
Package NPM : olostep-cli
CLI pour l’API Olostep : map, answer, scrape, scrape-get, crawl, batch-scrape, et batch-update. Les réponses sont en JSON (formaté) pour scripts, CI, et agents.
Installer ce package télécharge un binaire autonome pour votre système d’exploitation. Vous n’avez pas besoin de Python pour exécuter olostep.
Lors de l’installation, une étape postinstall télécharge le binaire correspondant depuis les releases GitHub du package. Si cela échoue, vérifiez qu’une release existe pour cette version du package et votre plateforme, puis réinstallez. Installation
Exigences : Node.js 16+ (uniquement pour npm / npx; le CLI lui-même est un binaire natif).
npm install -g olostep-cli
npx -y olostep-cli@latest --help
Clé API
Définissez OLOSTEP_API_KEY dans votre environnement, ou dans un fichier .env dans le répertoire où vous exécutez olostep.
Créer des clés : Clés API Olostep.
export OLOSTEP_API_KEY=your_key_here
olostep --help
Sortie
| Drapeau | Comportement |
|---|
--out <path> | Écrire le JSON dans un fichier (les répertoires parents sont créés si nécessaire). |
--out - | Écrire le JSON uniquement sur stdout (UTF-8, indenté). Utile pour les pipes et la capture de sous-processus. |
olostep map "https://example.com" --top-n 20 --out - | jq '.urls[:10]'
olostep scrape "https://example.com" --out - | jq .result.markdown_content
--out, les fichiers vont sous output/ (voir Chemins par défaut --out).
Commandes
Utilisez olostep <command> --help pour chaque option. La plupart des commandes acceptent --timeout (HTTP, secondes).
map : découvrir les URLs
| Option | Description |
|---|
--out | Chemin du fichier ou - |
--top-n | Max URLs |
--search-query | Guider la découverte |
--include-subdomain / --no-include-subdomain | Sous-domaines |
--include-url / --exclude-url | Modèles répétables |
--cursor | Pagination |
--top-n, pas --limit (supprimé).
olostep map "https://example.com" --top-n 100 --search-query "blog"
answer : réponse recherchée
Interroge jusqu’à ce que la réponse soit prête.
| Option | Description |
|---|
--out | Fichier ou - |
--json-format | Indication optionnelle de sortie structurée (chaîne d’objet JSON) |
--poll-interval / --poll-timeout | Interrogation (secondes) |
--json-format, pas --model (supprimé).
olostep answer "What does this company build?" --out answer.json
olostep answer "Extract facts" --json-format '{"company":"","year":""}' --out -
scrape : une URL
Formats : html, markdown, text, json, raw_pdf, screenshot (séparés par des virgules ; par défaut markdown).
| Option | Description |
|---|
--formats | Séparés par des virgules |
--country | Code du pays |
--wait-before-scraping | Ms à attendre avant le scrape |
--payload-json | Options avancées sous forme de chaîne d’objet JSON |
--payload-file | Idem, depuis un fichier (pas avec --payload-json) |
olostep scrape "https://example.com" --formats markdown,html
olostep scrape "https://example.com" --payload-file scrape-options.json --out -
scrape-get : par ID de scrape
olostep scrape-get "scrape_abc123" --out -
crawl : exploration de site
Formats de récupération : markdown, html, json.
Drapeaux notables : --max-pages, --max-depth, --include-subdomain, --include-external, --include-url, --exclude-url, --search-query, --top-n, --webhook, --crawl-timeout, --follow-robots-txt / --ignore-robots-txt, --formats, --pages-limit, --pages-search-query, --poll-seconds, --poll-timeout, --dry-run (imprimer la charge utile, pas de requête).
olostep crawl "https://docs.example.com" --max-pages 50 --formats markdown,html
olostep crawl "https://example.com" --max-pages 10 --dry-run
batch-scrape : CSV
Colonnes CSV : custom_id ou id, et url.
| Option | Description |
|---|
--formats | markdown, html, json |
--country | Optionnel |
--parser-id | Analyseur d’extraction structuré |
--poll-seconds, --log-every, --items-limit | Interrogation / pagination |
--dry-run | Imprimer uniquement la charge utile |
olostep batch-scrape urls.csv --formats markdown,html
batch-update : mise à jour de métadonnées par lot
Nécessite l’un de --metadata-json ou --metadata-file (objet JSON).
olostep batch-update "batch_abc123" --metadata-json '{"team":"growth"}'
Chemins par défaut --out
Lorsque --out est omis :
| Commande | Par défaut |
|---|
map | output/map.json |
answer | output/answer.json |
scrape | output/scrape.json |
scrape-get | output/scrape_get.json |
crawl | output/crawl_results.json |
batch-scrape | output/batch_results.json |
batch-update | output/batch_update.json |
Drapeaux globaux
| Drapeau | Description |
|---|
-V, --version | Version |
-h, --help | Aide |
Documentation associée
Répertoire : github.com/olostep-api/CLI
Sécurité
Gardez les clés API hors du contrôle de version ; remplacez-les si elles sont divulguées.
