Comandi per i dati web

Questi comandi ottengono dati dal web. Ognuno di essi che recupera nuovi dati utilizza crediti. Per eseguire il crawling di un intero sito, vedi olostep crawl. Per eseguire lo scraping di molti URL contemporaneamente, vedi olostep batch. Tutti stampano Markdown in un terminale e JSON con --json. Vedi Output.

scrape

Esegui lo scraping di una singola pagina. olostep scrape <url> esegue olostep scrape create. Vedi Scrape per i formati e le opzioni.

olostep scrape create

Esegui lo scraping di una pagina in Markdown, HTML o dati strutturati.

Utilizza crediti.

olostep scrape create [--formats string]... [--country text] [--wait integer] [--remove-css-selectors text] [--remove-class-names string]... [--parser json] [--llm-extract json] [--screen-size json] [--links-on-page json] [--metadata json] [--preview] [--url-to-scrape text] [--json] [--fields a,b] [--dry-run] [<url_to_scrape>]

Abbreviazione: olostep scrape <url>. Argomenti

Argomento	Descrizione
`url_to_scrape`	Un URL http(s). Opzionale; puoi passarlo come flag invece.

Flag

Flag	Richiesto	Descrizione
`-f`, `--formats`	No	Formati di output, come `markdown` o `html`. Ripeti il flag o separa i valori con virgole.
`-c`, `--country`	No	Paese.
`--wait`	No	Millisecondi di attesa prima dello scraping (da 0 a 60000).
`--remove-css-selectors`	No	Selettori CSS da rimuovere dalla pagina.
`--remove-class-names`	No	Classi da rimuovere. Ripeti il flag o separa i valori con virgole.
`--parser`	No	Configurazione del parser. Oggetto JSON o `@file.json`.
`--llm-extract`	No	Configurazione dell’estrazione LLM. Oggetto JSON o `@file.json`.
`--screen-size`	No	Viewport dello screenshot. Oggetto JSON o `@file.json`.
`--links-on-page`	No	Opzioni di estrazione dei link. Oggetto JSON o `@file.json`.
`--metadata`	No	Metadati della richiesta. Oggetto JSON o `@file.json`.
`--url-to-scrape`	No	Uguale all’argomento `url_to_scrape`.

Accetta anche --json, --fields, --dry-run e --preview. Vedi Flag globali.

olostep scrape https://example.com -f markdown
olostep scrape https://example.com -f markdown,html -c US --wait 2000
olostep scrape https://example.com -f markdown --json

olostep scrape get

Mostra uno scraping precedente tramite il suo id.

olostep scrape get [--json] [--fields a,b] <scrape_id>

Argomenti

Argomento	Descrizione
`scrape_id`	Id dello scraping.

Accetta anche --json e --fields. Vedi Flag globali.

olostep scrape get <scrape_id>

search

Cerca sul web. olostep search "<query>" esegue olostep search create. Vedi Search.

olostep search create

Cerca sul web.

Utilizza crediti.

olostep search create [--options json] [--preview] [--query text] [--json] [--fields a,b] [--dry-run] [<query>]

Abbreviazione: olostep search "<query>". Argomenti

Argomento	Descrizione
`query`	Query di ricerca. Opzionale; puoi passarlo come flag invece.

Flag

Flag	Richiesto	Descrizione
`--options`	No	Opzioni aggiuntive dell’API di ricerca pubblica. Oggetto JSON o `@file.json`.
`--query`	No	Uguale all’argomento `query`.

Accetta anche --json, --fields, --dry-run e --preview. Vedi Flag globali.

olostep search "best hiking trails"
olostep search "olostep web scraping api" --json

olostep search get

Mostra una ricerca precedente tramite il suo id.

olostep search get [--json] [--fields a,b] <search_id>

Argomenti

Argomento	Descrizione
`search_id`	Id della ricerca.

Accetta anche --json e --fields. Vedi Flag globali.

olostep search get <search_id>

map

Elenca gli URL di un sito web. olostep map <url> esegue olostep map create. Vedi Maps.

olostep map create

Scopri gli URL di un sito web.

Utilizza crediti.

olostep map create [--include-urls string]... [--exclude-urls string]... [--search text] [--top-n integer] [--include-subdomain] [--preview] [--url text] [--json] [--fields a,b] [--dry-run] [<url>]

Abbreviazione: olostep map <url>. Argomenti

Argomento	Descrizione
`url`	Un URL http(s). Opzionale; puoi passarlo come flag invece.

Flag

Flag	Richiesto	Descrizione
`--include-urls`	No	Includi pattern di URL. Ripeti il flag o separa i valori con virgole.
`--exclude-urls`	No	Escludi pattern di URL. Ripeti il flag o separa i valori con virgole.
`--search`	No	Classifica gli URL in base a quanto bene corrispondono a questa query.
`-n`, `--top-n`	No	Numero massimo di URL da restituire.
`--include-subdomain`	No	Includi i sottodomini.
`--url`	No	Uguale all’argomento `url`.

Accetta anche --json, --fields, --dry-run e --preview. Vedi Flag globali.

olostep map https://example.com -n 20
olostep map https://example.com --search "pricing" -n 10

answer

Ricerca una domanda sul web. olostep answer "<task>" esegue olostep answer create. Vedi Answers.

olostep answer create

Ricerca una domanda o un compito sul web e ottieni una risposta o JSON nella forma che richiedi.

Utilizza crediti.

olostep answer create [--schema json] [--options json] [--preview] [--task text] [--json] [--fields a,b] [--dry-run] [<task>]

Abbreviazione: olostep answer "<task>". Argomenti

Argomento	Descrizione
`task`	Compito di ricerca. Opzionale; puoi passarlo come flag invece.

Flag

Flag	Richiesto	Descrizione
`--schema`	No	Schema JSON richiesto. Oggetto JSON o `@file.json`.
`--options`	No	Opzioni aggiuntive per la risposta. Oggetto JSON o `@file.json`.
`--task`	No	Uguale all’argomento `task`.

Accetta anche --json, --fields, --dry-run e --preview. Vedi Flag globali.

olostep answer "What does Olostep do?"
olostep answer "What is the latest book by J.K. Rowling?" --schema '{"book_title":"","author":"","release_date":""}' --json

olostep answer get

Mostra una risposta precedente tramite il suo id.

olostep answer get [--json] [--fields a,b] <answer_id>

Argomenti

Argomento	Descrizione
`answer_id`	Id della risposta.

Accetta anche --json e --fields. Vedi Flag globali.

olostep answer get <answer_id>

extract

Estrai dati strutturati da una pagina. olostep extract <url> esegue olostep extract run. Vedi Estrazione LLM.

olostep extract run

Estrai dati strutturati da una pagina con un’istruzione in parole semplici.

Utilizza crediti.

olostep extract run (--instruction text) [--schema json] [--preview] [--url text] [--json] [--fields a,b] [--dry-run] [<url>]

Abbreviazione: olostep extract <url>. Argomenti

Argomento	Descrizione
`url`	Un URL http(s). Opzionale; puoi passarlo come flag invece.

Flag

Flag	Richiesto	Descrizione
`-i`, `--instruction`	Sì	Cosa estrarre.
`--schema`	No	Schema JSON opzionale. Oggetto JSON o `@file.json`.
`--url`	No	Uguale all’argomento `url`.

Accetta anche --json, --fields, --dry-run e --preview. Vedi Flag globali.

olostep extract https://example.com -i "Extract product prices"
olostep extract https://example.com/team -i "List each person's name and role" --json

content

Leggi le pagine che hai già eseguito lo scraping o il crawling, senza eseguirle di nuovo.

olostep content retrieve

Ottieni l’HTML, il Markdown o il JSON memorizzato di una pagina che hai già eseguito lo scraping o il crawling. Il retrieve_id proviene da scrape create, scrape get, crawl pages (la colonna Retrieve ID) o batch items. Anche un id di scraping come scrape_abc123 funziona.

olostep content retrieve [--formats string]... [--json] [--fields a,b] <retrieve_id>

Argomenti

Argomento	Descrizione
`retrieve_id`	Il retrieve_id della pagina, come abc123 (o il suo id di scraping, scrape_abc123).

Flag

Flag	Richiesto	Descrizione
`-f`, `--formats`	No	Formati da restituire: `html`, `markdown` o `json`. Lascia vuoto per ogni formato memorizzato. Ripeti il flag o separa i valori con virgole.

Accetta anche --json e --fields. Vedi Flag globali.

olostep content retrieve <retrieve_id> -f markdown
olostep content retrieve scrape_abc123 -f html,markdown --json

Olostep CLI

Riferimento comandi

scrape

olostep scrape create

olostep scrape get

search

olostep search create

olostep search get

map

olostep map create

answer

olostep answer create

olostep answer get

extract

olostep extract run

content

olostep content retrieve

​scrape

​olostep scrape create

​olostep scrape get

​search

​olostep search create

​olostep search get

​map

​olostep map create

​answer

​olostep answer create

​olostep answer get

​extract

​olostep extract run

​content

​olostep content retrieve

scrape

olostep scrape create

olostep scrape get

search

olostep search create

olostep search get

map

olostep map create

answer

olostep answer create

olostep answer get

extract

olostep extract run

content

olostep content retrieve