Commandes pour les jobs et la surveillance

Ces commandes lancent un travail qui s’exécute pendant un certain temps et lisent sa progression et ses résultats. Les commandes qui listent les résultats les paginent avec --limit et --cursor (ou --offset) : passe le curseur du résultat précédent pour obtenir la page suivante.

crawl

Explorer un site web. olostep crawl <url> exécute olostep crawl create. Voir Crawls.

olostep crawl list

Liste tes crawls récents.

olostep crawl list [--limit integer] [--source text] [--offset integer] [--json] [--fields a,b]

Options

Option	Requis	Description
`--limit`	Non	Taille de la page.
`--source`	Non	Filtre de source.
`--offset`	Non	Décalage basé sur zéro à partir de la page précédente.

Accepte également --json et --fields. Voir Options globales.

olostep crawl list --limit 10

olostep crawl get

Afficher la progression et les paramètres d’un crawl.

olostep crawl get [--json] [--fields a,b] <crawl_id>

Arguments

Argument	Description
`crawl_id`	ID du crawl.

Accepte également --json et --fields. Voir Options globales.

olostep crawl get <crawl_id>

olostep crawl pages

Afficher une page des résultats d’un crawl. Chaque page a un ID de récupération pour olostep content retrieve.

olostep crawl pages [--limit integer] [--cursor text] [--json] [--fields a,b] <crawl_id>

Arguments

Argument	Description
`crawl_id`	ID du crawl.

Options

Option	Requis	Description
`--limit`	Non	Nombre maximum d’enregistrements dans cette page.
`--cursor`	Non	Curseur opaque suivant d’un résultat précédent.

Accepte également --json et --fields. Voir Options globales.

olostep crawl pages <crawl_id>
olostep crawl pages <crawl_id> --limit 100 --json

olostep crawl create

Explorer un site web, en suivant les liens à partir d’une URL de départ jusqu’à une limite de pages.

Utilise des crédits.

olostep crawl create (--max-pages integer) [--depth integer] [--include-urls string]... [--exclude-urls string]... [--include-external] [--include-subdomain] [--follow-robots-txt] [--ignore-sitemap] [--scrape-options json] [--preview] [--start-url text] [--json] [--fields a,b] [--dry-run] [<start_url>]

Raccourci : olostep crawl <url>. Arguments

Argument	Description
`start_url`	Une URL http(s). Optionnel ; tu peux la passer comme une option à la place.

Options

Option	Requis	Description
`-n`, `--max-pages`	Oui	Nombre maximum de pages à explorer.
`--depth`	Non	Profondeur maximale des liens à partir de l’URL de départ.
`--include-urls`	Non	Modèles d’URL à inclure. Répète l’option, ou sépare les valeurs par des virgules.
`--exclude-urls`	Non	Modèles d’URL à exclure. Répète l’option, ou sépare les valeurs par des virgules.
`--include-external`	Non	Suivre les liens externes.
`--include-subdomain`	Non	Inclure les sous-domaines.
`--follow-robots-txt`	Non	Suivre le fichier robots.txt.
`--ignore-sitemap`	Non	Ignorer le sitemap.
`--scrape-options`	Non	Options de scraping prises en charge par le tableau de bord. Objet JSON, ou `@file.json`.
`--start-url`	Non	Identique à l’argument `start_url`.

Accepte également --json, --fields, --dry-run et --preview. Voir Options globales.

olostep crawl https://docs.example.com -n 50
olostep crawl https://example.com -n 200 --depth 3 --include-urls "/blog/**" --exclude-urls "/tag/**"

batch

Scraper de nombreuses URLs en un seul job. Voir Batches.

olostep batch list

Liste tes lots récents.

olostep batch list [--limit integer] [--source text] [--status text] [--search text] [--offset integer] [--json] [--fields a,b]

Options

Option	Requis	Description
`--limit`	Non	Taille de la page.
`--source`	Non	Filtre de source.
`--status`	Non	Statut du lot.
`--search`	Non	Filtre de recherche.
`--offset`	Non	Décalage basé sur zéro à partir de la page précédente.

Accepte également --json et --fields. Voir Options globales.

olostep batch list --limit 20
olostep batch list --status completed --json

olostep batch get

Afficher la progression et les métadonnées d’un lot.

olostep batch get [--json] [--fields a,b] <batch_id>

Arguments

Argument	Description
`batch_id`	ID du lot.

Accepte également --json et --fields. Voir Options globales.

olostep batch get <batch_id>

olostep batch items

Afficher une page des éléments d’un lot : chaque URL d’entrée et son résultat.

olostep batch items [--limit integer] [--cursor text] [--json] [--fields a,b] <batch_id>

Arguments

Argument	Description
`batch_id`	ID du lot.

Options

Option	Requis	Description
`--limit`	Non	Nombre maximum d’enregistrements dans cette page.
`--cursor`	Non	Curseur opaque suivant d’un résultat précédent.

Accepte également --json et --fields. Voir Options globales.

olostep batch items <batch_id> --limit 50
olostep batch items <batch_id> --cursor <next_cursor>

olostep batch create

Créer un lot qui scrape une liste d’URLs. Chaque élément a ton propre custom_id et une url. Jusqu’à 10 000 éléments.

Utilise des crédits.

olostep batch create (--items json) [--country text] [--parser json] [--metadata json] [--preview] [--json] [--fields a,b] [--dry-run]

Options

Option	Requis	Description
`--items`	Oui	Les URLs à scraper : une liste JSON de `{"custom_id": "...", "url": "..."}`, ou `@file.json`.
`--country`	Non	Pays optionnel.
`--parser`	Non	Un parseur à exécuter sur chaque page : `{"id": "<parser_id>"}`, ou `@file.json`.
`--metadata`	Non	Métadonnées du lot. Objet JSON, ou `@file.json`.

Accepte également --json, --fields, --dry-run et --preview. Voir Options globales.

olostep batch create --items '[{"custom_id":"home","url":"https://example.com"},{"custom_id":"pricing","url":"https://example.com/pricing"}]'
olostep batch create --items @urls.json --country US

olostep batch update

Remplacer les métadonnées d’un lot.

olostep batch update (--metadata json) [--preview] [--json] [--fields a,b] [--dry-run] <batch_id>

Arguments

Argument	Description
`batch_id`	ID du lot.

Options

Option	Requis	Description
`--metadata`	Oui	Objet de métadonnées. Objet JSON, ou `@file.json`.

Accepte également --json, --fields, --dry-run et --preview. Voir Options globales.

olostep batch update <batch_id> --metadata '{"project":"q4-pricing"}'

olostep batch export

Commencer à préparer un téléchargement des résultats d’un lot. Vérifie-le avec olostep batch export-status.

olostep batch export [--preview] [--json] [--fields a,b] [--dry-run] <batch_id>

Arguments

Argument	Description
`batch_id`	ID du lot.

Accepte également --json, --fields, --dry-run et --preview. Voir Options globales.

olostep batch export <batch_id>
olostep batch export-status <batch_id>

olostep batch export-status

Vérifier la progression d’une exportation et obtenir son URL de téléchargement lorsqu’elle est prête.

olostep batch export-status [--json] [--fields a,b] <batch_id>

Arguments

Argument	Description
`batch_id`	ID du lot.

Accepte également --json et --fields. Voir Options globales.

olostep batch export-status <batch_id>

monitors

Surveiller le web pour des changements selon un calendrier. Voir Moniteurs.

olostep monitors list

Liste tes moniteurs.

olostep monitors list [--include-deleted] [--json] [--fields a,b]

Options

Option	Requis	Description
`--include-deleted`	Non	Inclure les moniteurs supprimés.

Accepte également --json et --fields. Voir Options globales.

olostep monitors list

olostep monitors get

Afficher les paramètres et l’état actuel d’un moniteur.

olostep monitors get [--json] [--fields a,b] <monitor_id>

Arguments

Argument	Description
`monitor_id`	ID du moniteur.

Accepte également --json et --fields. Voir Options globales.

olostep monitors get <monitor_id>

olostep monitors create

Créer un moniteur qui surveille le web pour ce que tu décris, selon un calendrier.

Utilise des crédits.

olostep monitors create (--query text) [--urls string]... (--frequency text) [--notification json] [--webhook json] [--source-policy json] [--output-schema json] [--preview] [--json] [--fields a,b] [--dry-run]

Options

Option	Requis	Description
`--query`	Oui	Ce qu’il faut surveiller, en termes simples.
`--urls`	Non	URLs sources optionnelles. Répète l’option, ou sépare les valeurs par des virgules.
`--frequency`	Oui	Fréquence de vérification, en mots, comme `tous les jours à 9h` (UTC).
`--notification`	Non	Canaux de notification et préférences d’événements. Objet JSON, ou `@file.json`.
`--webhook`	Non	Configuration du webhook. Objet JSON, ou `@file.json`.
`--source-policy`	Non	URLs et domaines inclus/exclus. Objet JSON, ou `@file.json`.
`--output-schema`	Non	Schéma de sortie structuré attendu. Objet JSON, ou `@file.json`.

Accepte également --json, --fields, --dry-run et --preview. Voir Options globales.

olostep monitors create --query "Nouveaux changements de prix sur example.com" --urls https://example.com/pricing --frequency "tous les jours à 9h"

olostep monitors update

Modifier la fréquence, les notifications, le webhook ou les métadonnées d’un moniteur.

olostep monitors update [--frequency text] [--notification json] [--webhook json] [--metadata json] [--preview] [--json] [--fields a,b] [--dry-run] <monitor_id>

Arguments

Argument	Description
`monitor_id`	ID du moniteur.

Options

Option	Requis	Description
`--frequency`	Non	Fréquence de vérification, en mots, comme `tous les jours à 9h` (UTC).
`--notification`	Non	Canaux de notification et préférences d’événements. Objet JSON, ou `@file.json`.
`--webhook`	Non	Configuration du webhook. Objet JSON, ou `@file.json`.
`--metadata`	Non	Métadonnées du moniteur. Objet JSON, ou `@file.json`.

Accepte également --json, --fields, --dry-run et --preview. Voir Options globales.

olostep monitors update <monitor_id> --frequency "toutes les 20 minutes"

olostep monitors pause

Mettre en pause un moniteur.

olostep monitors pause [--preview] [--json] [--fields a,b] [--dry-run] <monitor_id>

Arguments

Argument	Description
`monitor_id`	ID du moniteur.

Accepte également --json, --fields, --dry-run et --preview. Voir Options globales.

olostep monitors pause <monitor_id>

olostep monitors resume

Reprendre un moniteur en pause.

olostep monitors resume [--preview] [--json] [--fields a,b] [--dry-run] <monitor_id>

Arguments

Argument	Description
`monitor_id`	ID du moniteur.

Accepte également --json, --fields, --dry-run et --preview. Voir Options globales.

olostep monitors resume <monitor_id>

olostep monitors delete

Supprimer un moniteur.

Demande avant de s’exécuter ; passe --yes lorsqu’il n’y a pas de terminal.

olostep monitors delete [--preview] [--json] [--fields a,b] [--dry-run] [--yes] <monitor_id>

Arguments

Argument	Description
`monitor_id`	ID du moniteur.

Accepte également --json, --fields, --dry-run, --preview et --yes. Voir Options globales.

olostep monitors delete <monitor_id> --dry-run
olostep monitors delete <monitor_id> --yes

olostep monitors events

Afficher une page des événements d’exécution d’un moniteur.

olostep monitors events [--limit integer] [--cursor text] [--status text] [--json] [--fields a,b] <monitor_id>

Arguments

Argument	Description
`monitor_id`	ID du moniteur.

Options

Option	Requis	Description
`--limit`	Non	Nombre maximum d’enregistrements dans cette page.
`--cursor`	Non	Curseur opaque suivant d’un résultat précédent.
`--status`	Non	Filtre de statut d’exécution.

Accepte également --json et --fields. Voir Options globales.

olostep monitors events <monitor_id> --limit 20

olostep monitors planning

Afficher le plan d’un moniteur et comment il s’exécute.

olostep monitors planning [--json] [--fields a,b] <monitor_id>

Arguments

Argument	Description
`monitor_id`	ID du moniteur.

Accepte également --json et --fields. Voir Options globales.

olostep monitors planning <monitor_id>

olostep monitors run

Exécuter un moniteur maintenant, avec ses paramètres enregistrés.

Utilise des crédits.

olostep monitors run (--monitor-id text) [--preview] [--json] [--fields a,b] [--dry-run]

Options

Option	Requis	Description
`--monitor-id`	Oui	ID du moniteur.

Accepte également --json, --fields, --dry-run et --preview. Voir Options globales.

olostep monitors run --monitor-id <monitor_id>

olostep monitors run-get

Afficher une exécution de moniteur et son instantané structuré.

olostep monitors run-get [--include-trace] [--json] [--fields a,b] <monitor_id> <run_id>

Arguments

Argument	Description
`monitor_id`	ID du moniteur.
`run_id`	ID de l’exécution.

Options

Option	Requis	Description
`--include-trace`	Non	Inclure la trace d’exécution.

Accepte également --json et --fields. Voir Options globales.

olostep monitors run-get <monitor_id> <run_id>
olostep monitors run-get <monitor_id> <run_id> --include-trace --json

olostep monitors logs

Afficher les logs récents des exécutions d’un moniteur.

olostep monitors logs [--since integer] [--json] [--fields a,b] <monitor_id>

Arguments

Argument	Description
`monitor_id`	ID du moniteur.

Options

Option	Requis	Description
`--since`	Non	Heure de début, en millisecondes depuis l’époque Unix.

Accepte également --json et --fields. Voir Options globales.

olostep monitors logs <monitor_id>

olostep monitors snapshot

Afficher l’instantané structuré d’une exécution de moniteur.

olostep monitors snapshot [--json] [--fields a,b] <monitor_id> <run_id>

Arguments

Argument	Description
`monitor_id`	ID du moniteur.
`run_id`	ID de l’exécution.

Accepte également --json et --fields. Voir Options globales.

olostep monitors snapshot <monitor_id> <run_id> --json

Obtenir le lien de partage public d’un moniteur. Ne change pas qui peut le voir.

olostep monitors share [--json] [--fields a,b] <monitor_id>

Arguments

Argument	Description
`monitor_id`	ID du moniteur.

Accepte également --json et --fields. Voir Options globales.

olostep monitors share <monitor_id>

agents

Exécuter des agents de recherche. Voir Agents.

olostep agents list

Lister les agents de recherche disponibles pour ton équipe.

olostep agents list [--json] [--fields a,b]

Accepte également --json et --fields. Voir Options globales.

olostep agents list

olostep agents get

Afficher les détails d’un agent et les entrées par défaut.

olostep agents get [--version text] [--json] [--fields a,b] <agent_id>

Arguments

Argument	Description
`agent_id`	ID de l’agent.

Options

Option	Requis	Description
`--version`	Non	Version.

Accepte également --json et --fields. Voir Options globales.

olostep agents get <agent_id>

olostep agents runs

Lister les exécutions d’un agent de recherche.

olostep agents runs [--json] [--fields a,b] <agent_id>

Arguments

Argument	Description
`agent_id`	ID de l’agent.

Accepte également --json et --fields. Voir Options globales.

olostep agents runs <agent_id>

olostep agents run

Exécuter un agent de recherche avec tes valeurs d’entrée.

Utilise des crédits.

olostep agents run [--version text] [--input-values json] [--preview] [--json] [--fields a,b] [--dry-run] <agent_id>

Arguments

Argument	Description
`agent_id`	ID de l’agent.

Options

Option	Requis	Description
`--version`	Non	Version de l’agent.
`--input-values`	Non	Valeurs d’entrée correspondant au schéma déclaré de l’agent. Objet JSON, ou `@file.json`.

Accepte également --json, --fields, --dry-run et --preview. Voir Options globales.

olostep agents get <agent_id>
olostep agents run <agent_id> --input-values @inputs.json

olostep agents run-get

Afficher le statut et les résultats d’une exécution d’agent de recherche.

olostep agents run-get [--json] [--fields a,b] <agent_id> <run_id>

Arguments

Argument	Description
`agent_id`	ID de l’agent.
`run_id`	ID de l’exécution.

Accepte également --json et --fields. Voir Options globales.

olostep agents run-get <agent_id> <run_id>

olostep agents request

Demander à l’équipe Olostep de créer un agent de recherche personnalisé pour toi.

olostep agents request (--task text) [--model text] [--schedule text] [--budget text] [--preview] [--json] [--fields a,b] [--dry-run]

Options

Option	Requis	Description
`--task`	Oui	Flux de travail de recherche demandé.
`--model`	Non	Modèle demandé.
`--schedule`	Non	Calendrier demandé.
`--budget`	Non	Budget demandé.

Accepte également --json, --fields, --dry-run et --preview. Voir Options globales.

olostep agents request --task "Chaque lundi, trouver de nouvelles entreprises fintech en série A en Europe" --schedule "hebdomadaire"

logs

Lire les requêtes que ton équipe a faites à l’API Olostep.

olostep logs list

Afficher une page de tes logs de requêtes API. Filtrer par statut, endpoint et méthode.

olostep logs list [--days 1|7|30|90] [--page integer] [--size integer] [--status text] [--endpoint text] [--method GET|POST|PUT|PATCH|DELETE] [--json] [--fields a,b]

Options

Option	Requis	Description
`--days`	Non	Fenêtre de rétrospection en jours. Un de : `1`, `7`, `30`, `90`.
`--page`	Non	Numéro de page, à partir de 1.
`--size`	Non	Taille de la page.
`--status`	Non	Filtre de statut HTTP.
`--endpoint`	Non	Filtre de chemin/endpoint.
`--method`	Non	Filtre de méthode HTTP. Un de : `GET`, `POST`, `PUT`, `PATCH`, `DELETE`.

Accepte également --json et --fields. Voir Options globales.

olostep logs list --days 7
olostep logs list --days 1 --status 429 --method POST

olostep logs export

Exporter tes logs de requêtes API en JSON ou CSV.

olostep logs export [--days 1|7|30|90] [--format json|csv] [--max-pages integer] [--status text] [--endpoint text] [--method GET|POST|PUT|PATCH|DELETE] [--json] [--fields a,b]

Options

Option	Requis	Description
`--days`	Non	Fenêtre de rétrospection en jours. Un de : `1`, `7`, `30`, `90`.
`--format`	Non	Format d’exportation. Un de : `json`, `csv`.
`--max-pages`	Non	Nombre maximum de pages de logs à exporter (1 à 100).
`--status`	Non	Filtre de statut HTTP.
`--endpoint`	Non	Filtre de chemin/endpoint.
`--method`	Non	Filtre de méthode HTTP. Un de : `GET`, `POST`, `PUT`, `PATCH`, `DELETE`.

Accepte également --json et --fields. Voir Options globales.

olostep logs export --days 30 --format csv

Olostep CLI

Référence des commandes

Commandes pour les jobs et la surveillance

crawl

olostep crawl list

olostep crawl get

olostep crawl pages

olostep crawl create

batch

olostep batch list

olostep batch get

olostep batch items

olostep batch create

olostep batch update

olostep batch export

olostep batch export-status

monitors

olostep monitors list

olostep monitors get

olostep monitors create

olostep monitors update

olostep monitors pause

olostep monitors resume

olostep monitors delete

olostep monitors events

olostep monitors planning

olostep monitors run

olostep monitors run-get

olostep monitors logs

olostep monitors snapshot

agents

olostep agents list

olostep agents get

olostep agents runs

olostep agents run

olostep agents run-get

olostep agents request

logs

olostep logs list

olostep logs export

​crawl

​olostep crawl list

​olostep crawl get

​olostep crawl pages

​olostep crawl create

​batch

​olostep batch list

​olostep batch get

​olostep batch items

​olostep batch create

​olostep batch update

​olostep batch export

​olostep batch export-status

​monitors

​olostep monitors list

​olostep monitors get

​olostep monitors create

​olostep monitors update

​olostep monitors pause

​olostep monitors resume

​olostep monitors delete

​olostep monitors events

​olostep monitors planning

​olostep monitors run

​olostep monitors run-get

​olostep monitors logs

​olostep monitors snapshot

​olostep monitors share

​agents

​olostep agents list

​olostep agents get

​olostep agents runs

​olostep agents run

​olostep agents run-get

​olostep agents request

​logs

​olostep logs list

​olostep logs export

crawl

olostep crawl list

olostep crawl get

olostep crawl pages

olostep crawl create

batch

olostep batch list

olostep batch get

olostep batch items

olostep batch create

olostep batch update

olostep batch export

olostep batch export-status

monitors

olostep monitors list

olostep monitors get

olostep monitors create

olostep monitors update

olostep monitors pause

olostep monitors resume

olostep monitors delete

olostep monitors events

olostep monitors planning

olostep monitors run

olostep monitors run-get

olostep monitors logs

olostep monitors snapshot

olostep monitors share

agents

olostep agents list

olostep agents get

olostep agents runs

olostep agents run

olostep agents run-get

olostep agents request

logs

olostep logs list

olostep logs export