Passer au contenu principal
Paquet NPM : olostep-cli CLI pour l’API Olostep : map, answer, scrape, scrape-get, crawl, batch-scrape, et batch-update. Les réponses sont en JSON (joliment formaté) pour les scripts, CI, et agents. Installer ce paquet télécharge un binaire autonome pour votre système d’exploitation. Vous n’avez pas besoin de Python pour exécuter olostep.
Lors de l’installation, une étape postinstall télécharge le binaire correspondant depuis les releases GitHub du paquet. Si cela échoue, vérifiez qu’une release existe pour cette version du paquet et votre plateforme, puis réinstallez.

Installation

Exigences : Node.js 16+ (uniquement pour npm / npx; le CLI lui-même est un binaire natif).
npm install -g olostep-cli
Exécuter sans installation globale :
npx -y olostep-cli@latest --help
Plateformes : macOS (Apple Silicon et Intel), Linux x64, Windows x64.

Clé API

Définissez OLOSTEP_API_KEY dans votre environnement, ou dans un fichier .env dans le répertoire où vous exécutez olostep. Créer des clés : Olostep API Keys.
export OLOSTEP_API_KEY=your_key_here
olostep --help

Sortie

DrapeauComportement
--out <path>Écrit le JSON dans un fichier (les répertoires parents sont créés si nécessaire).
--out -Écrit le JSON uniquement dans stdout (UTF-8, indenté). Utile pour les pipes et la capture de sous-processus.
Les lignes de progression et de log vont à stderr, donc stdout reste analysable.
olostep map "https://example.com" --top-n 20 --out - | jq '.urls[:10]'
olostep scrape "https://example.com" --out - | jq .result.markdown_content
Si vous omettez --out, les fichiers vont sous output/ (voir Chemins par défaut --out).

Commandes

Utilisez olostep <command> --help pour chaque option. La plupart des commandes acceptent --timeout (HTTP, secondes).

map : découvrir les URLs

OptionDescription
--outChemin de fichier ou -
--top-nMax URLs
--search-queryGuider la découverte
--include-subdomain / --no-include-subdomainSous-domaines
--include-url / --exclude-urlModèles répétables
--cursorPagination
Utilisez --top-n, pas --limit (supprimé).
olostep map "https://example.com" --top-n 100 --search-query "blog"

answer : réponse recherchée

Interroge jusqu’à ce que la réponse soit prête.
OptionDescription
--outFichier ou -
--json-formatIndication de sortie structurée optionnelle (chaîne d’objet JSON)
--poll-interval / --poll-timeoutInterrogation (secondes)
Utilisez --json-format, pas --model (supprimé).
olostep answer "What does this company build?" --out answer.json
olostep answer "Extract facts" --json-format '{"company":"","year":""}' --out -

scrape : une URL

Formats : html, markdown, text, json, raw_pdf, screenshot (séparés par des virgules ; par défaut markdown).
OptionDescription
--formatsSéparés par des virgules
--countryCode du pays
--wait-before-scrapingMs à attendre avant de scraper
--payload-jsonOptions avancées sous forme de chaîne d’objet JSON
--payload-fileIdem, depuis un fichier (pas ensemble avec --payload-json)
olostep scrape "https://example.com" --formats markdown,html
olostep scrape "https://example.com" --payload-file scrape-options.json --out -

scrape-get : par ID de scrape

olostep scrape-get "scrape_abc123" --out -

crawl : exploration de site

Formats de récupération : markdown, html, json. Drapeaux notables : --max-pages, --max-depth, --include-subdomain, --include-external, --include-url, --exclude-url, --search-query, --top-n, --webhook, --crawl-timeout, --follow-robots-txt / --ignore-robots-txt, --formats, --pages-limit, --pages-search-query, --poll-seconds, --poll-timeout, --dry-run (imprimer la charge utile, pas de requête).
olostep crawl "https://docs.example.com" --max-pages 50 --formats markdown,html
olostep crawl "https://example.com" --max-pages 10 --dry-run

batch-scrape : CSV

Colonnes CSV : custom_id ou id, et url.
OptionDescription
--formatsmarkdown, html, json
--countryOptionnel
--parser-idAnalyseur d’extraction structuré
--poll-seconds, --log-every, --items-limitInterrogation / pagination
--dry-runImprimer seulement la charge utile
olostep batch-scrape urls.csv --formats markdown,html

batch-update : mise à jour de métadonnées par lot

Nécessite l’un de --metadata-json ou --metadata-file (objet JSON).
olostep batch-update "batch_abc123" --metadata-json '{"team":"growth"}'

Chemins par défaut --out

Lorsque --out est omis :
CommandePar défaut
mapoutput/map.json
answeroutput/answer.json
scrapeoutput/scrape.json
scrape-getoutput/scrape_get.json
crawloutput/crawl_results.json
batch-scrapeoutput/batch_results.json
batch-updateoutput/batch_update.json

Drapeaux globaux

DrapeauDescription
-V, --versionVersion
-h, --helpAide

Documentation connexe

Répertoire : github.com/olostep-api/CLI

Sécurité

Gardez les clés API hors du contrôle de source ; changez-les si elles sont divulguées.