Comandos de datos web

Estos comandos obtienen datos de la web. Cada uno que obtiene nuevos datos utiliza créditos. Para rastrear un sitio completo, consulta olostep crawl. Para extraer muchos URLs a la vez, consulta olostep batch. Todos imprimen Markdown en un terminal y JSON con --json. Consulta Output.

scrape

Extrae una sola página. olostep scrape <url> ejecuta olostep scrape create. Consulta Scrape para los formatos y opciones.

olostep scrape create

Extrae una página en Markdown, HTML o datos estructurados.

Usa créditos.

olostep scrape create [--formats string]... [--country text] [--wait integer] [--remove-css-selectors text] [--remove-class-names string]... [--parser json] [--llm-extract json] [--screen-size json] [--links-on-page json] [--metadata json] [--preview] [--url-to-scrape text] [--json] [--fields a,b] [--dry-run] [<url_to_scrape>]

Abreviatura: olostep scrape <url>. Argumentos

Argumento	Descripción
`url_to_scrape`	Un URL http(s). Opcional; puedes pasarlo como una bandera en su lugar.

Banderas

Bandera	Requerido	Descripción
`-f`, `--formats`	No	Formatos de salida, como `markdown` o `html`. Repite la bandera, o separa los valores con comas.
`-c`, `--country`	No	País.
`--wait`	No	Milisegundos para esperar antes de extraer (0 a 60000).
`--remove-css-selectors`	No	Selectores CSS para eliminar de la página.
`--remove-class-names`	No	Clases para eliminar. Repite la bandera, o separa los valores con comas.
`--parser`	No	Configuración del parser. Objeto JSON, o `@file.json`.
`--llm-extract`	No	Configuración de extracción LLM. Objeto JSON, o `@file.json`.
`--screen-size`	No	Vista de captura de pantalla. Objeto JSON, o `@file.json`.
`--links-on-page`	No	Opciones de extracción de enlaces. Objeto JSON, o `@file.json`.
`--metadata`	No	Metadatos de la solicitud. Objeto JSON, o `@file.json`.
`--url-to-scrape`	No	Igual que el argumento `url_to_scrape`.

También acepta --json, --fields, --dry-run y --preview. Consulta Banderas globales.

olostep scrape https://example.com -f markdown
olostep scrape https://example.com -f markdown,html -c US --wait 2000
olostep scrape https://example.com -f markdown --json

olostep scrape get

Muestra una extracción anterior por su id.

olostep scrape get [--json] [--fields a,b] <scrape_id>

Argumentos

Argumento	Descripción
`scrape_id`	Id de la extracción.

También acepta --json y --fields. Consulta Banderas globales.

olostep scrape get <scrape_id>

search

Busca en la web. olostep search "<query>" ejecuta olostep search create. Consulta Search.

olostep search create

Busca en la web.

Usa créditos.

olostep search create [--options json] [--preview] [--query text] [--json] [--fields a,b] [--dry-run] [<query>]

Abreviatura: olostep search "<query>". Argumentos

Argumento	Descripción
`query`	Consulta de búsqueda. Opcional; puedes pasarlo como una bandera en su lugar.

Banderas

Bandera	Requerido	Descripción
`--options`	No	Opciones adicionales de la API de búsqueda pública. Objeto JSON, o `@file.json`.
`--query`	No	Igual que el argumento `query`.

También acepta --json, --fields, --dry-run y --preview. Consulta Banderas globales.

olostep search "best hiking trails"
olostep search "olostep web scraping api" --json

olostep search get

Muestra una búsqueda anterior por su id.

olostep search get [--json] [--fields a,b] <search_id>

Argumentos

Argumento	Descripción
`search_id`	Id de la búsqueda.

También acepta --json y --fields. Consulta Banderas globales.

olostep search get <search_id>

map

Lista los URLs de un sitio web. olostep map <url> ejecuta olostep map create. Consulta Maps.

olostep map create

Descubre los URLs de un sitio web.

Usa créditos.

olostep map create [--include-urls string]... [--exclude-urls string]... [--search text] [--top-n integer] [--include-subdomain] [--preview] [--url text] [--json] [--fields a,b] [--dry-run] [<url>]

Abreviatura: olostep map <url>. Argumentos

Argumento	Descripción
`url`	Un URL http(s). Opcional; puedes pasarlo como una bandera en su lugar.

Banderas

Bandera	Requerido	Descripción
`--include-urls`	No	Incluir patrones de URL. Repite la bandera, o separa los valores con comas.
`--exclude-urls`	No	Excluir patrones de URL. Repite la bandera, o separa los valores con comas.
`--search`	No	Clasifica los URLs por cómo se ajustan a esta consulta.
`-n`, `--top-n`	No	Número máximo de URLs a devolver.
`--include-subdomain`	No	Incluir subdominios.
`--url`	No	Igual que el argumento `url`.

También acepta --json, --fields, --dry-run y --preview. Consulta Banderas globales.

olostep map https://example.com -n 20
olostep map https://example.com --search "pricing" -n 10

answer

Investiga una pregunta en la web. olostep answer "<task>" ejecuta olostep answer create. Consulta Answers.

olostep answer create

Investiga una pregunta o tarea en la web, y obtén una respuesta o JSON en la forma que solicites.

Usa créditos.

olostep answer create [--schema json] [--options json] [--preview] [--task text] [--json] [--fields a,b] [--dry-run] [<task>]

Abreviatura: olostep answer "<task>". Argumentos

Argumento	Descripción
`task`	Tarea de investigación. Opcional; puedes pasarlo como una bandera en su lugar.

Banderas

Bandera	Requerido	Descripción
`--schema`	No	Esquema JSON solicitado. Objeto JSON, o `@file.json`.
`--options`	No	Opciones adicionales de respuesta. Objeto JSON, o `@file.json`.
`--task`	No	Igual que el argumento `task`.

También acepta --json, --fields, --dry-run y --preview. Consulta Banderas globales.

olostep answer "What does Olostep do?"
olostep answer "What is the latest book by J.K. Rowling?" --schema '{"book_title":"","author":"","release_date":""}' --json

olostep answer get

Muestra una respuesta anterior por su id.

olostep answer get [--json] [--fields a,b] <answer_id>

Argumentos

Argumento	Descripción
`answer_id`	Id de la respuesta.

También acepta --json y --fields. Consulta Banderas globales.

olostep answer get <answer_id>

extract

Extrae datos estructurados de una página. olostep extract <url> ejecuta olostep extract run. Consulta LLM extraction.

olostep extract run

Extrae datos estructurados de una página con una instrucción en palabras simples.

Usa créditos.

olostep extract run (--instruction text) [--schema json] [--preview] [--url text] [--json] [--fields a,b] [--dry-run] [<url>]

Abreviatura: olostep extract <url>. Argumentos

Argumento	Descripción
`url`	Un URL http(s). Opcional; puedes pasarlo como una bandera en su lugar.

Banderas

Bandera	Requerido	Descripción
`-i`, `--instruction`	Sí	Qué extraer.
`--schema`	No	Esquema JSON opcional. Objeto JSON, o `@file.json`.
`--url`	No	Igual que el argumento `url`.

También acepta --json, --fields, --dry-run y --preview. Consulta Banderas globales.

olostep extract https://example.com -i "Extract product prices"
olostep extract https://example.com/team -i "List each person's name and role" --json

content

Lee páginas que ya has extraído o rastreado, sin volver a extraerlas.

olostep content retrieve

Obtén el HTML, Markdown o JSON almacenado de una página que ya has extraído o rastreado. El retrieve_id proviene de scrape create, scrape get, crawl pages (la columna Retrieve ID) o batch items. Un id de extracción como scrape_abc123 también funciona.

olostep content retrieve [--formats string]... [--json] [--fields a,b] <retrieve_id>

Argumentos

Argumento	Descripción
`retrieve_id`	El retrieve_id de la página, como abc123 (o su id de extracción, scrape_abc123).

Banderas

Bandera	Requerido	Descripción
`-f`, `--formats`	No	Formatos a devolver: `html`, `markdown` o `json`. Omite para cada formato almacenado. Repite la bandera, o separa los valores con comas.

También acepta --json y --fields. Consulta Banderas globales.

olostep content retrieve <retrieve_id> -f markdown
olostep content retrieve scrape_abc123 -f html,markdown --json

Olostep CLI

Referencia de comandos

scrape

olostep scrape create

olostep scrape get

search

olostep search create

olostep search get

map

olostep map create

answer

olostep answer create

olostep answer get

extract

olostep extract run

content

olostep content retrieve

​scrape

​olostep scrape create

​olostep scrape get

​search

​olostep search create

​olostep search get

​map

​olostep map create

​answer

​olostep answer create

​olostep answer get

​extract

​olostep extract run

​content

​olostep content retrieve

scrape

olostep scrape create

olostep scrape get

search

olostep search create

olostep search get

map

olostep map create

answer

olostep answer create

olostep answer get

extract

olostep extract run

content

olostep content retrieve