Commandes de données web

Ces commandes récupèrent des données du web. Chacune d’elles qui récupère de nouvelles données utilise des crédits. Pour explorer un site entier, voir olostep crawl. Pour scraper plusieurs URL à la fois, voir olostep batch. Toutes impriment du Markdown dans un terminal et du JSON avec --json. Voir Sortie.

scrape

Scraper une seule page. olostep scrape <url> exécute olostep scrape create. Voir Scrape pour les formats et options.

olostep scrape create

Scraper une page en Markdown, HTML ou données structurées.

Utilise des crédits.

olostep scrape create [--formats string]... [--country text] [--wait integer] [--remove-css-selectors text] [--remove-class-names string]... [--parser json] [--llm-extract json] [--screen-size json] [--links-on-page json] [--metadata json] [--preview] [--url-to-scrape text] [--json] [--fields a,b] [--dry-run] [<url_to_scrape>]

Raccourci : olostep scrape <url>. Arguments

Argument	Description
`url_to_scrape`	Une URL http(s). Optionnel ; tu peux la passer comme un drapeau à la place.

Drapeaux

Drapeau	Requis	Description
`-f`, `--formats`	Non	Formats de sortie, tels que `markdown` ou `html`. Répéter le drapeau, ou séparer les valeurs par des virgules.
`-c`, `--country`	Non	Pays.
`--wait`	Non	Millisecondes à attendre avant de scraper (0 à 60000).
`--remove-css-selectors`	Non	Sélecteurs CSS à supprimer de la page.
`--remove-class-names`	Non	Classes à supprimer. Répéter le drapeau, ou séparer les valeurs par des virgules.
`--parser`	Non	Configuration du parseur. Objet JSON, ou `@file.json`.
`--llm-extract`	Non	Configuration de l’extraction LLM. Objet JSON, ou `@file.json`.
`--screen-size`	Non	Vue de capture d’écran. Objet JSON, ou `@file.json`.
`--links-on-page`	Non	Options d’extraction de liens. Objet JSON, ou `@file.json`.
`--metadata`	Non	Métadonnées de la requête. Objet JSON, ou `@file.json`.
`--url-to-scrape`	Non	Identique à l’argument `url_to_scrape`.

Accepte également --json, --fields, --dry-run et --preview. Voir Drapeaux globaux.

olostep scrape https://example.com -f markdown
olostep scrape https://example.com -f markdown,html -c US --wait 2000
olostep scrape https://example.com -f markdown --json

olostep scrape get

Afficher un précédent scrape par son id.

olostep scrape get [--json] [--fields a,b] <scrape_id>

Arguments

Argument	Description
`scrape_id`	Id du scrape.

Accepte également --json et --fields. Voir Drapeaux globaux.

olostep scrape get <scrape_id>

search

Rechercher sur le web. olostep search "<query>" exécute olostep search create. Voir Search.

olostep search create

Rechercher sur le web.

Utilise des crédits.

olostep search create [--options json] [--preview] [--query text] [--json] [--fields a,b] [--dry-run] [<query>]

Raccourci : olostep search "<query>". Arguments

Argument	Description
`query`	Requête de recherche. Optionnel ; tu peux la passer comme un drapeau à la place.

Drapeaux

Drapeau	Requis	Description
`--options`	Non	Options supplémentaires de l’API de recherche publique. Objet JSON, ou `@file.json`.
`--query`	Non	Identique à l’argument `query`.

Accepte également --json, --fields, --dry-run et --preview. Voir Drapeaux globaux.

olostep search "meilleurs sentiers de randonnée"
olostep search "olostep web scraping api" --json

olostep search get

Afficher une recherche précédente par son id.

olostep search get [--json] [--fields a,b] <search_id>

Arguments

Argument	Description
`search_id`	Id de la recherche.

Accepte également --json et --fields. Voir Drapeaux globaux.

olostep search get <search_id>

map

Lister les URL d’un site web. olostep map <url> exécute olostep map create. Voir Maps.

olostep map create

Découvrir les URL d’un site web.

Utilise des crédits.

olostep map create [--include-urls string]... [--exclude-urls string]... [--search text] [--top-n integer] [--include-subdomain] [--preview] [--url text] [--json] [--fields a,b] [--dry-run] [<url>]

Raccourci : olostep map <url>. Arguments

Argument	Description
`url`	Une URL http(s). Optionnel ; tu peux la passer comme un drapeau à la place.

Drapeaux

Drapeau	Requis	Description
`--include-urls`	Non	Inclure des modèles d’URL. Répéter le drapeau, ou séparer les valeurs par des virgules.
`--exclude-urls`	Non	Exclure des modèles d’URL. Répéter le drapeau, ou séparer les valeurs par des virgules.
`--search`	Non	Classer les URL selon leur correspondance avec cette requête.
`-n`, `--top-n`	Non	Nombre maximum d’URL à retourner.
`--include-subdomain`	Non	Inclure les sous-domaines.
`--url`	Non	Identique à l’argument `url`.

Accepte également --json, --fields, --dry-run et --preview. Voir Drapeaux globaux.

olostep map https://example.com -n 20
olostep map https://example.com --search "tarification" -n 10

answer

Rechercher une question sur le web. olostep answer "<task>" exécute olostep answer create. Voir Answers.

olostep answer create

Rechercher une question ou une tâche sur le web, et obtenir une réponse ou un JSON dans la forme demandée.

Utilise des crédits.

olostep answer create [--schema json] [--options json] [--preview] [--task text] [--json] [--fields a,b] [--dry-run] [<task>]

Raccourci : olostep answer "<task>". Arguments

Argument	Description
`task`	Tâche de recherche. Optionnel ; tu peux la passer comme un drapeau à la place.

Drapeaux

Drapeau	Requis	Description
`--schema`	Non	Schéma JSON demandé. Objet JSON, ou `@file.json`.
`--options`	Non	Options supplémentaires de réponse. Objet JSON, ou `@file.json`.
`--task`	Non	Identique à l’argument `task`.

Accepte également --json, --fields, --dry-run et --preview. Voir Drapeaux globaux.

olostep answer "Que fait Olostep ?"
olostep answer "Quel est le dernier livre de J.K. Rowling ?" --schema '{"book_title":"","author":"","release_date":""}' --json

olostep answer get

Afficher une réponse précédente par son id.

olostep answer get [--json] [--fields a,b] <answer_id>

Arguments

Argument	Description
`answer_id`	Id de la réponse.

Accepte également --json et --fields. Voir Drapeaux globaux.

olostep answer get <answer_id>

extract

Extraire des données structurées d’une page. olostep extract <url> exécute olostep extract run. Voir LLM extraction.

olostep extract run

Extraire des données structurées d’une page avec une instruction en mots simples.

Utilise des crédits.

olostep extract run (--instruction text) [--schema json] [--preview] [--url text] [--json] [--fields a,b] [--dry-run] [<url>]

Raccourci : olostep extract <url>. Arguments

Argument	Description
`url`	Une URL http(s). Optionnel ; tu peux la passer comme un drapeau à la place.

Drapeaux

Drapeau	Requis	Description
`-i`, `--instruction`	Oui	Ce qu’il faut extraire.
`--schema`	Non	Schéma JSON optionnel. Objet JSON, ou `@file.json`.
`--url`	Non	Identique à l’argument `url`.

Accepte également --json, --fields, --dry-run et --preview. Voir Drapeaux globaux.

olostep extract https://example.com -i "Extraire les prix des produits"
olostep extract https://example.com/team -i "Lister le nom et le rôle de chaque personne" --json

content

Lire les pages que tu as déjà scrapées ou explorées, sans les scraper à nouveau.

olostep content retrieve

Obtenir le HTML, Markdown ou JSON stocké d’une page que tu as déjà scrapée ou explorée. Le retrieve_id provient de scrape create, scrape get, crawl pages (la colonne Retrieve ID) ou batch items. Un id de scrape tel que scrape_abc123 fonctionne aussi.

olostep content retrieve [--formats string]... [--json] [--fields a,b] <retrieve_id>

Arguments

Argument	Description
`retrieve_id`	L’id de récupération de la page, tel que abc123 (ou son id de scrape, scrape_abc123).

Drapeaux

Drapeau	Requis	Description
`-f`, `--formats`	Non	Formats à retourner : `html`, `markdown` ou `json`. Laisser de côté pour chaque format stocké. Répéter le drapeau, ou séparer les valeurs par des virgules.

Accepte également --json et --fields. Voir Drapeaux globaux.

olostep content retrieve <retrieve_id> -f markdown
olostep content retrieve scrape_abc123 -f html,markdown --json

Olostep CLI

Référence des commandes

Commandes de données web

scrape

olostep scrape create

olostep scrape get

search

olostep search create

olostep search get

map

olostep map create

answer

olostep answer create

olostep answer get

extract

olostep extract run

content

olostep content retrieve

​scrape

​olostep scrape create

​olostep scrape get

​search

​olostep search create

​olostep search get

​map

​olostep map create

​answer

​olostep answer create

​olostep answer get

​extract

​olostep extract run

​content

​olostep content retrieve

scrape

olostep scrape create

olostep scrape get

search

olostep search create

olostep search get

map

olostep map create

answer

olostep answer create

olostep answer get

extract

olostep extract run

content

olostep content retrieve