Webdaten-Befehle

Diese Befehle holen Daten aus dem Web. Jeder Befehl, der neue Daten abruft, verwendet Credits. Um eine ganze Website zu durchsuchen, siehe olostep crawl. Um viele URLs auf einmal zu scrapen, siehe olostep batch. Alle geben Markdown in einem Terminal und JSON mit --json aus. Siehe Ausgabe.

scrape

Eine einzelne Seite scrapen. olostep scrape <url> führt olostep scrape create aus. Siehe Scrape für die Formate und Optionen.

olostep scrape create

Eine Seite in Markdown, HTML oder strukturierte Daten scrapen.

Verwendet Credits.

olostep scrape create [--formats string]... [--country text] [--wait integer] [--remove-css-selectors text] [--remove-class-names string]... [--parser json] [--llm-extract json] [--screen-size json] [--links-on-page json] [--metadata json] [--preview] [--url-to-scrape text] [--json] [--fields a,b] [--dry-run] [<url_to_scrape>]

Abkürzung: olostep scrape <url>. Argumente

Argument	Beschreibung
`url_to_scrape`	Eine http(s) URL. Optional; du kannst sie stattdessen als Flag übergeben.

Flags

Flag	Erforderlich	Beschreibung
`-f`, `--formats`	Nein	Ausgabeformate, wie `markdown` oder `html`. Wiederhole das Flag oder trenne Werte mit Kommas.
`-c`, `--country`	Nein	Land.
`--wait`	Nein	Millisekunden, die vor dem Scrapen gewartet werden sollen (0 bis 60000).
`--remove-css-selectors`	Nein	CSS-Selektoren, die von der Seite entfernt werden sollen.
`--remove-class-names`	Nein	Klassen, die entfernt werden sollen. Wiederhole das Flag oder trenne Werte mit Kommas.
`--parser`	Nein	Parser-Konfiguration. JSON-Objekt oder `@file.json`.
`--llm-extract`	Nein	LLM-Extraktionskonfiguration. JSON-Objekt oder `@file.json`.
`--screen-size`	Nein	Screenshot-Viewport. JSON-Objekt oder `@file.json`.
`--links-on-page`	Nein	Optionen zur Link-Extraktion. JSON-Objekt oder `@file.json`.
`--metadata`	Nein	Anfragemetadaten. JSON-Objekt oder `@file.json`.
`--url-to-scrape`	Nein	Dasselbe wie das `url_to_scrape` Argument.

Akzeptiert auch --json, --fields, --dry-run und --preview. Siehe Globale Flags.

olostep scrape https://example.com -f markdown
olostep scrape https://example.com -f markdown,html -c US --wait 2000
olostep scrape https://example.com -f markdown --json

olostep scrape get

Zeige ein vorheriges Scrape anhand seiner ID.

olostep scrape get [--json] [--fields a,b] <scrape_id>

Argumente

Argument	Beschreibung
`scrape_id`	Scrape-ID.

Akzeptiert auch --json und --fields. Siehe Globale Flags.

olostep scrape get <scrape_id>

search

Im Web suchen. olostep search "<query>" führt olostep search create aus. Siehe Suche.

olostep search create

Im Web suchen.

Verwendet Credits.

olostep search create [--options json] [--preview] [--query text] [--json] [--fields a,b] [--dry-run] [<query>]

Abkürzung: olostep search "<query>". Argumente

Argument	Beschreibung
`query`	Suchanfrage. Optional; du kannst sie stattdessen als Flag übergeben.

Flags

Flag	Erforderlich	Beschreibung
`--options`	Nein	Zusätzliche öffentliche Such-API-Optionen. JSON-Objekt oder `@file.json`.
`--query`	Nein	Dasselbe wie das `query` Argument.

Akzeptiert auch --json, --fields, --dry-run und --preview. Siehe Globale Flags.

olostep search "beste Wanderwege"
olostep search "olostep web scraping api" --json

olostep search get

Zeige eine vorherige Suche anhand ihrer ID.

olostep search get [--json] [--fields a,b] <search_id>

Argumente

Argument	Beschreibung
`search_id`	Such-ID.

Akzeptiert auch --json und --fields. Siehe Globale Flags.

olostep search get <search_id>

map

Liste die URLs einer Website auf. olostep map <url> führt olostep map create aus. Siehe Karten.

olostep map create

Entdecke die URLs einer Website.

Verwendet Credits.

olostep map create [--include-urls string]... [--exclude-urls string]... [--search text] [--top-n integer] [--include-subdomain] [--preview] [--url text] [--json] [--fields a,b] [--dry-run] [<url>]

Abkürzung: olostep map <url>. Argumente

Argument	Beschreibung
`url`	Eine http(s) URL. Optional; du kannst sie stattdessen als Flag übergeben.

Flags

Flag	Erforderlich	Beschreibung
`--include-urls`	Nein	URL-Muster einbeziehen. Wiederhole das Flag oder trenne Werte mit Kommas.
`--exclude-urls`	Nein	URL-Muster ausschließen. Wiederhole das Flag oder trenne Werte mit Kommas.
`--search`	Nein	URLs nach Übereinstimmung mit dieser Anfrage bewerten.
`-n`, `--top-n`	Nein	Maximale Anzahl von URLs, die zurückgegeben werden sollen.
`--include-subdomain`	Nein	Subdomains einbeziehen.
`--url`	Nein	Dasselbe wie das `url` Argument.

Akzeptiert auch --json, --fields, --dry-run und --preview. Siehe Globale Flags.

olostep map https://example.com -n 20
olostep map https://example.com --search "pricing" -n 10

answer

Eine Frage im Web recherchieren. olostep answer "<task>" führt olostep answer create aus. Siehe Antworten.

olostep answer create

Eine Frage oder Aufgabe im Web recherchieren und eine Antwort oder JSON in der gewünschten Form erhalten.

Verwendet Credits.

olostep answer create [--schema json] [--options json] [--preview] [--task text] [--json] [--fields a,b] [--dry-run] [<task>]

Abkürzung: olostep answer "<task>". Argumente

Argument	Beschreibung
`task`	Rechercheaufgabe. Optional; du kannst sie stattdessen als Flag übergeben.

Flags

Flag	Erforderlich	Beschreibung
`--schema`	Nein	Angefordertes JSON-Schema. JSON-Objekt oder `@file.json`.
`--options`	Nein	Zusätzliche Antwortoptionen. JSON-Objekt oder `@file.json`.
`--task`	Nein	Dasselbe wie das `task` Argument.

Akzeptiert auch --json, --fields, --dry-run und --preview. Siehe Globale Flags.

olostep answer "Was macht Olostep?"
olostep answer "Was ist das neueste Buch von J.K. Rowling?" --schema '{"book_title":"","author":"","release_date":""}' --json

olostep answer get

Zeige eine vorherige Antwort anhand ihrer ID.

olostep answer get [--json] [--fields a,b] <answer_id>

Argumente

Argument	Beschreibung
`answer_id`	Antwort-ID.

Akzeptiert auch --json und --fields. Siehe Globale Flags.

olostep answer get <answer_id>

extract

Strukturierte Daten aus einer Seite extrahieren. olostep extract <url> führt olostep extract run aus. Siehe LLM-Extraktion.

olostep extract run

Strukturierte Daten aus einer Seite mit einer Anweisung in einfachen Worten extrahieren.

Verwendet Credits.

olostep extract run (--instruction text) [--schema json] [--preview] [--url text] [--json] [--fields a,b] [--dry-run] [<url>]

Abkürzung: olostep extract <url>. Argumente

Argument	Beschreibung
`url`	Eine http(s) URL. Optional; du kannst sie stattdessen als Flag übergeben.

Flags

Flag	Erforderlich	Beschreibung
`-i`, `--instruction`	Ja	Was extrahiert werden soll.
`--schema`	Nein	Optionales JSON-Schema. JSON-Objekt oder `@file.json`.
`--url`	Nein	Dasselbe wie das `url` Argument.

Akzeptiert auch --json, --fields, --dry-run und --preview. Siehe Globale Flags.

olostep extract https://example.com -i "Produktpreise extrahieren"
olostep extract https://example.com/team -i "Liste die Namen und Rollen jeder Person auf" --json

content

Lese Seiten, die du bereits gescraped oder gecrawlt hast, ohne sie erneut zu scrapen.

olostep content retrieve

Hole das gespeicherte HTML, Markdown oder JSON einer Seite, die du bereits gescraped oder gecrawlt hast. Die retrieve_id stammt von scrape create, scrape get, crawl pages (die Retrieve ID-Spalte) oder batch items. Eine Scrape-ID wie scrape_abc123 funktioniert auch.

olostep content retrieve [--formats string]... [--json] [--fields a,b] <retrieve_id>

Argumente

Argument	Beschreibung
`retrieve_id`	Die Retrieve-ID der Seite, wie abc123 (oder ihre Scrape-ID, scrape_abc123).

Flags

Flag	Erforderlich	Beschreibung
`-f`, `--formats`	Nein	Formate, die zurückgegeben werden sollen: `html`, `markdown` oder `json`. Lasse es weg, um jedes gespeicherte Format zu erhalten. Wiederhole das Flag oder trenne Werte mit Kommas.

Akzeptiert auch --json und --fields. Siehe Globale Flags.

olostep content retrieve <retrieve_id> -f markdown
olostep content retrieve scrape_abc123 -f html,markdown --json

Olostep-Befehlszeilenschnittstelle

Befehlsreferenz

scrape

olostep scrape create

olostep scrape get

search

olostep search create

olostep search get

map

olostep map create

answer

olostep answer create

olostep answer get

extract

olostep extract run

content

olostep content retrieve

​scrape

​olostep scrape create

​olostep scrape get

​search

​olostep search create

​olostep search get

​map

​olostep map create

​answer

​olostep answer create

​olostep answer get

​extract

​olostep extract run

​content

​olostep content retrieve

scrape

olostep scrape create

olostep scrape get

search

olostep search create

olostep search get

map

olostep map create

answer

olostep answer create

olostep answer get

extract

olostep extract run

content

olostep content retrieve