Webgegevenscommando’s

Deze commando’s halen gegevens van het web. Elk commando dat nieuwe gegevens ophaalt, gebruikt credits. Om een hele site te crawlen, zie olostep crawl. Om veel URL’s tegelijk te scrapen, zie olostep batch. Ze printen allemaal Markdown in een terminal en JSON met --json. Zie Uitvoer.

scrape

Scrape een enkele pagina. olostep scrape <url> voert olostep scrape create uit. Zie Scrape voor de formaten en opties.

olostep scrape create

Scrape een pagina naar Markdown, HTML of gestructureerde gegevens.

Gebruikt credits.

olostep scrape create [--formats string]... [--country text] [--wait integer] [--remove-css-selectors text] [--remove-class-names string]... [--parser json] [--llm-extract json] [--screen-size json] [--links-on-page json] [--metadata json] [--preview] [--url-to-scrape text] [--json] [--fields a,b] [--dry-run] [<url_to_scrape>]

Afkorting: olostep scrape <url>. Argumenten

Argument	Beschrijving
`url_to_scrape`	Een http(s) URL. Optioneel; je kunt het ook als een vlag doorgeven.

Vlaggen

Vlag	Vereist	Beschrijving
`-f`, `--formats`	Nee	Uitvoerformaten, zoals `markdown` of `html`. Herhaal de vlag, of scheid waarden met komma’s.
`-c`, `--country`	Nee	Land.
`--wait`	Nee	Milliseconden om te wachten voordat je gaat scrapen (0 tot 60000).
`--remove-css-selectors`	Nee	CSS-selectors om van de pagina te verwijderen.
`--remove-class-names`	Nee	Klassen om te verwijderen. Herhaal de vlag, of scheid waarden met komma’s.
`--parser`	Nee	Parserconfiguratie. JSON-object, of `@file.json`.
`--llm-extract`	Nee	LLM-extractieconfiguratie. JSON-object, of `@file.json`.
`--screen-size`	Nee	Screenshot viewport. JSON-object, of `@file.json`.
`--links-on-page`	Nee	Opties voor linkextractie. JSON-object, of `@file.json`.
`--metadata`	Nee	Aanvraagmetadata. JSON-object, of `@file.json`.
`--url-to-scrape`	Nee	Hetzelfde als het `url_to_scrape` argument.

Accepteert ook --json, --fields, --dry-run en --preview. Zie Globale vlaggen.

olostep scrape https://example.com -f markdown
olostep scrape https://example.com -f markdown,html -c US --wait 2000
olostep scrape https://example.com -f markdown --json

olostep scrape get

Toon een eerdere scrape op basis van zijn id.

olostep scrape get [--json] [--fields a,b] <scrape_id>

Argumenten

Argument	Beschrijving
`scrape_id`	Scrape id.

Accepteert ook --json en --fields. Zie Globale vlaggen.

olostep scrape get <scrape_id>

search

Zoek op het web. olostep search "<query>" voert olostep search create uit. Zie Zoeken.

olostep search create

Zoek op het web.

Gebruikt credits.

olostep search create [--options json] [--preview] [--query text] [--json] [--fields a,b] [--dry-run] [<query>]

Afkorting: olostep search "<query>". Argumenten

Argument	Beschrijving
`query`	Zoekopdracht. Optioneel; je kunt het ook als een vlag doorgeven.

Vlaggen

Vlag	Vereist	Beschrijving
`--options`	Nee	Aanvullende openbare zoek-API-opties. JSON-object, of `@file.json`.
`--query`	Nee	Hetzelfde als het `query` argument.

Accepteert ook --json, --fields, --dry-run en --preview. Zie Globale vlaggen.

olostep search "beste wandelpaden"
olostep search "olostep web scraping api" --json

olostep search get

Toon een eerdere zoekopdracht op basis van zijn id.

olostep search get [--json] [--fields a,b] <search_id>

Argumenten

Argument	Beschrijving
`search_id`	Zoek id.

Accepteert ook --json en --fields. Zie Globale vlaggen.

olostep search get <search_id>

map

Lijst de URL’s van een website op. olostep map <url> voert olostep map create uit. Zie Kaarten.

olostep map create

Ontdek de URL’s van een website.

Gebruikt credits.

olostep map create [--include-urls string]... [--exclude-urls string]... [--search text] [--top-n integer] [--include-subdomain] [--preview] [--url text] [--json] [--fields a,b] [--dry-run] [<url>]

Afkorting: olostep map <url>. Argumenten

Argument	Beschrijving
`url`	Een http(s) URL. Optioneel; je kunt het ook als een vlag doorgeven.

Vlaggen

Vlag	Vereist	Beschrijving
`--include-urls`	Nee	URL-patronen opnemen. Herhaal de vlag, of scheid waarden met komma’s.
`--exclude-urls`	Nee	URL-patronen uitsluiten. Herhaal de vlag, of scheid waarden met komma’s.
`--search`	Nee	Rangschik URL’s op hoe goed ze overeenkomen met deze zoekopdracht.
`-n`, `--top-n`	Nee	Maximum aantal URL’s om te retourneren.
`--include-subdomain`	Nee	Subdomeinen opnemen.
`--url`	Nee	Hetzelfde als het `url` argument.

Accepteert ook --json, --fields, --dry-run en --preview. Zie Globale vlaggen.

olostep map https://example.com -n 20
olostep map https://example.com --search "prijzen" -n 10

answer

Onderzoek een vraag op het web. olostep answer "<task>" voert olostep answer create uit. Zie Antwoorden.

olostep answer create

Onderzoek een vraag of taak op het web en krijg een antwoord of JSON in de vorm die je vraagt.

Gebruikt credits.

olostep answer create [--schema json] [--options json] [--preview] [--task text] [--json] [--fields a,b] [--dry-run] [<task>]

Afkorting: olostep answer "<task>". Argumenten

Argument	Beschrijving
`task`	Onderzoekstaak. Optioneel; je kunt het ook als een vlag doorgeven.

Vlaggen

Vlag	Vereist	Beschrijving
`--schema`	Nee	Aangevraagd JSON-schema. JSON-object, of `@file.json`.
`--options`	Nee	Aanvullende antwoordopties. JSON-object, of `@file.json`.
`--task`	Nee	Hetzelfde als het `task` argument.

Accepteert ook --json, --fields, --dry-run en --preview. Zie Globale vlaggen.

olostep answer "Wat doet Olostep?"
olostep answer "Wat is het nieuwste boek van J.K. Rowling?" --schema '{"book_title":"","author":"","release_date":""}' --json

olostep answer get

Toon een eerder antwoord op basis van zijn id.

olostep answer get [--json] [--fields a,b] <answer_id>

Argumenten

Argument	Beschrijving
`answer_id`	Antwoord id.

Accepteert ook --json en --fields. Zie Globale vlaggen.

olostep answer get <answer_id>

extract

Haal gestructureerde gegevens uit een pagina. olostep extract <url> voert olostep extract run uit. Zie LLM-extractie.

olostep extract run

Extraheer gestructureerde gegevens uit een pagina met een instructie in gewone woorden.

Gebruikt credits.

olostep extract run (--instruction text) [--schema json] [--preview] [--url text] [--json] [--fields a,b] [--dry-run] [<url>]

Afkorting: olostep extract <url>. Argumenten

Argument	Beschrijving
`url`	Een http(s) URL. Optioneel; je kunt het ook als een vlag doorgeven.

Vlaggen

Vlag	Vereist	Beschrijving
`-i`, `--instruction`	Ja	Wat te extraheren.
`--schema`	Nee	Optioneel JSON-schema. JSON-object, of `@file.json`.
`--url`	Nee	Hetzelfde als het `url` argument.

Accepteert ook --json, --fields, --dry-run en --preview. Zie Globale vlaggen.

olostep extract https://example.com -i "Extraheer productprijzen"
olostep extract https://example.com/team -i "Lijst de naam en rol van elke persoon" --json

content

Lees pagina’s die je al hebt gescraped of gecrawld, zonder ze opnieuw te scrapen.

olostep content retrieve

Haal de opgeslagen HTML, Markdown of JSON van een pagina op die je al hebt gescraped of gecrawld. De retrieve_id komt van scrape create, scrape get, crawl pages (de Retrieve ID-kolom) of batch items. Een scrape id zoals scrape_abc123 werkt ook.

olostep content retrieve [--formats string]... [--json] [--fields a,b] <retrieve_id>

Argumenten

Argument	Beschrijving
`retrieve_id`	De retrieve_id van de pagina, zoals abc123 (of zijn scrape id, scrape_abc123).

Vlaggen

Vlag	Vereist	Beschrijving
`-f`, `--formats`	Nee	Formaten om te retourneren: `html`, `markdown` of `json`. Laat weg voor elk opgeslagen formaat. Herhaal de vlag, of scheid waarden met komma’s.

Accepteert ook --json en --fields. Zie Globale vlaggen.

olostep content retrieve <retrieve_id> -f markdown
olostep content retrieve scrape_abc123 -f html,markdown --json

Olostep CLI

Opdrachtreferentie

Webgegevenscommando’s

scrape

olostep scrape create

olostep scrape get

search

olostep search create

olostep search get

map

olostep map create

answer

olostep answer create

olostep answer get

extract

olostep extract run

content

olostep content retrieve

​scrape

​olostep scrape create

​olostep scrape get

​search

​olostep search create

​olostep search get

​map

​olostep map create

​answer

​olostep answer create

​olostep answer get

​extract

​olostep extract run

​content

​olostep content retrieve

scrape

olostep scrape create

olostep scrape get

search

olostep search create

olostep search get

map

olostep map create

answer

olostep answer create

olostep answer get

extract

olostep extract run

content

olostep content retrieve