Zum Hauptinhalt springen
Die Olostep Native App auf dem Snowflake Marketplace bringt Live-Webdaten in Snowflake. Olostep ist eine Web-Dateninfrastruktur für KI-Agenten und Unternehmens-KI-Workflows. Seine APIs bieten Live-Websuche, Scraping und Crawling, um Daten aus dem Web zu extrahieren, zu bereinigen und zu strukturieren. Rufe Olostep aus SQL auf, um das Web zu durchsuchen, Seiten in sauberes Markdown zu scrappen, Websites zu mappen und zu crawlen und Antworten mit Quellen zu erhalten. Batch-Scrapes und Crawls werden als Tabellen in deinem Konto gespeichert, sodass du Webdaten mit deinen eigenen Daten verknüpfen, in Cortex Search laden oder in Cortex Agents verwenden kannst. Auf dem Snowflake Marketplace ansehen →

Bevor du beginnst

  • Ein Olostep-Konto mit einem API-Schlüssel: kostenlos erhalten, keine Kreditkarte erforderlich. Deine ersten 500 Credits sind inklusive.
  • Ein Snowflake-Konto mit externem Zugriff: die App ruft die Olostep API über eine externe Zugriffsintegration auf, die Testkonten nicht unterstützen.
  • Eine Rolle, die App-Verbindungen genehmigen kann: die Verbindung zu api.olostep.com zu genehmigen, erfordert das Privileg MANAGE APPLICATION SPECIFICATIONS, das ACCOUNTADMIN und SECURITYADMIN haben.

Einrichtung

1

Hole dir die App

Öffne die Listing-Seite und klicke auf Holen. Die Beispiele auf dieser Seite gehen davon aus, dass du sie als olostep installierst.
2

Genehmige die Verbindung zur Olostep API

Die App erstellt ihre eigene externe Zugriffsintegration für api.olostep.com und kann die API nicht aufrufen, bis du sie genehmigst. Gehe in Snowsight zu Katalog > Apps und wähle die App aus. Wähle das Einstellungen-Symbol und öffne dann den Konfigurationen-Tab. Unter Externe Verbindungen erweitere Details neben Externe Zugriffsintegrationen und genehmige den api.olostep.com Endpunkt.
3

Füge deinen API-Schlüssel hinzu

Im selben Konfigurationen-Tab, unter Anmeldedaten, füge ein GENERIC_STRING-Geheimnis hinzu, das deinen API-Schlüssel vom Olostep-Dashboard zu Olostep API-Schlüssel enthält.

Prozeduren

Jede Prozedur gibt ein VARIANT zurück. Bei einem Fehler gibt sie ein Objekt mit status auf error gesetzt zurück. Ratenbegrenzungen, Serverfehler und Zeitüberschreitungen werden automatisch erneut versucht.

Verwendung

Speichere Seiten als Tabellen

batch_scrape und crawl speichern eine Zeile pro Seite in olostep.results.<table_name>, mit den Spalten URL, MARKDOWN, ERROR und RETRIEVED_AT. Die Verwendung eines vorhandenen Tabellennamens ersetzt diese Tabelle.
Batches und Crawls sind normalerweise in wenigen Minuten abgeschlossen. Wenn einer nach 20 Minuten noch läuft, gibt die Prozedur seine id mit status auf in_progress zurück. Speichere seine Seiten später mit:
Tabellen in results werden entfernt, wenn du die App deinstallierst, also kopiere alles, was du behalten möchtest, in deine eigene Datenbank.

Fehlerbehebung

  • “Konnte api.olostep.com nicht erreichen”: die Verbindung ist noch nicht genehmigt. Genehmige sie wie in Schritt 2.
  • “Unbekannte benutzerdefinierte Funktion INTERNAL.OLOSTEP_REQUEST”: der API-Schlüssel ist noch nicht hinzugefügt. Füge ihn wie in Schritt 3 hinzu.
  • HTTP 401 im Fehler: das Geheimnis enthält keinen gültigen Olostep API-Schlüssel. Überprüfe ihn im Olostep-Dashboard.

Ressourcen