> ## Documentation Index
> Fetch the complete documentation index at: https://docs.olostep.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Olostep + Snowflake

> Suche, scrappe, mappe und crawle das Live-Web aus Snowflake SQL und speichere Seiten als Tabellen mit der Olostep Native App.

Die [Olostep Native App auf dem Snowflake Marketplace](https://app.snowflake.com/marketplace/listing/GZT8Z4URI87/olostep-olostep-web-search-scraping-and-crawling) bringt Live-Webdaten in Snowflake. [Olostep](https://www.olostep.com) ist eine Web-Dateninfrastruktur für KI-Agenten und Unternehmens-KI-Workflows. Seine APIs bieten Live-Websuche, Scraping und Crawling, um Daten aus dem Web zu extrahieren, zu bereinigen und zu strukturieren.

Rufe Olostep aus SQL auf, um das Web zu durchsuchen, Seiten in sauberes Markdown zu scrappen, Websites zu mappen und zu crawlen und Antworten mit Quellen zu erhalten. Batch-Scrapes und Crawls werden als Tabellen in deinem Konto gespeichert, sodass du Webdaten mit deinen eigenen Daten verknüpfen, in Cortex Search laden oder in Cortex Agents verwenden kannst.

[Auf dem Snowflake Marketplace ansehen →](https://app.snowflake.com/marketplace/listing/GZT8Z4URI87/olostep-olostep-web-search-scraping-and-crawling)

## Bevor du beginnst

* **Ein Olostep-Konto mit einem API-Schlüssel:** [kostenlos erhalten](https://www.olostep.com/dashboard), keine Kreditkarte erforderlich. Deine ersten 500 Credits sind inklusive.
* **Ein Snowflake-Konto mit externem Zugriff:** die App ruft die Olostep API über eine externe Zugriffsintegration auf, die Testkonten nicht unterstützen.
* **Eine Rolle, die App-Verbindungen genehmigen kann:** die Verbindung zu `api.olostep.com` zu genehmigen, erfordert das Privileg `MANAGE APPLICATION SPECIFICATIONS`, das `ACCOUNTADMIN` und `SECURITYADMIN` haben.

## Einrichtung

**1. Hole dir die App**

Öffne die [Listing-Seite](https://app.snowflake.com/marketplace/listing/GZT8Z4URI87/olostep-olostep-web-search-scraping-and-crawling) und klicke auf **Holen**. Die Beispiele auf dieser Seite gehen davon aus, dass du sie als `olostep` installierst.

**2. Genehmige die Verbindung zur Olostep API**

Die App erstellt ihre eigene externe Zugriffsintegration für `api.olostep.com` und kann die API nicht aufrufen, bis du sie genehmigst. Gehe in Snowsight zu **Katalog** > **Apps** und wähle die App aus. Wähle das **Einstellungen**-Symbol und öffne dann den **Konfigurationen**-Tab. Unter **Externe Verbindungen** erweitere **Details** neben **Externe Zugriffsintegrationen** und genehmige den `api.olostep.com` Endpunkt.

**3. Füge deinen API-Schlüssel hinzu**

Im selben **Konfigurationen**-Tab, unter **Anmeldedaten**, füge ein `GENERIC_STRING`-Geheimnis hinzu, das deinen API-Schlüssel vom [Olostep-Dashboard](https://www.olostep.com/dashboard/api-keys) zu **Olostep API-Schlüssel** enthält.

> [accordion] Bevorzugst du SQL? Mache Schritte 2 und 3 in einem Arbeitsblatt
>
> ```sql theme={null}
> -- Genehmige die Verbindung, indem du die Sequenznummer verwendest, die SHOW SPECIFICATIONS zurückgibt
> SHOW SPECIFICATIONS IN APPLICATION olostep;
> ALTER APPLICATION olostep APPROVE SPECIFICATION olostep_api_access SEQUENCE_NUMBER = 1;
>
> -- Speichere deinen Schlüssel in einem Geheimnis und übergebe ihn der App
> CREATE DATABASE IF NOT EXISTS olostep_config;
>
> CREATE OR REPLACE SECRET olostep_config.public.olostep_api_key
>   TYPE = GENERIC_STRING
>   SECRET_STRING = '<YOUR_OLOSTEP_API_KEY>';
>
> CALL olostep.core.register_reference('OLOSTEP_API_KEY', 'ADD',
>   SYSTEM$REFERENCE('SECRET', 'olostep_config.public.olostep_api_key', 'PERSISTENT', 'READ'));
> ```

## Prozeduren

| Prozedur | Was sie macht |
| - | - |
| `core.scrape(url)` | Scrappt eine Seite und gibt sauberes Markdown zurück (JavaScript-Rendering inklusive) |
| `core.search(query, max_results)` | Durchsucht das Live-Web und gibt Titel, URLs und Beschreibungen zurück |
| `core.answer(task)` | Beantwortet eine Frage aus dem Live-Web mit Quell-URLs |
| `core.map(url, top_n)` | Listet die URLs auf einer Website auf |
| `core.batch_scrape(urls, table_name)` | Scrappt eine Liste von URLs in einem Batch und speichert die Seiten in einer Tabelle |
| `core.crawl(url, table_name, max_pages)` | Crawlt eine Website und speichert die Seiten in einer Tabelle |
| `core.save_results(id, table_name)` | Speichert die Seiten eines Batches oder Crawls, der noch lief, als der Aufruf zurückkam |

Jede Prozedur gibt ein `VARIANT` zurück. Bei einem Fehler gibt sie ein Objekt mit `status` auf `error` gesetzt zurück. Ratenbegrenzungen, Serverfehler und Zeitüberschreitungen werden automatisch erneut versucht.

## Verwendung

```sql theme={null}
-- Scrappt eine Seite in Markdown
CALL olostep.core.scrape('https://docs.olostep.com');

-- Durchsuche das Web
CALL olostep.core.search('neueste KI-Agenten-Frameworks', 5);

-- Beantworte eine Frage mit Quellen
CALL olostep.core.answer('Was ist die neueste stabile Version von Next.js?');

-- Liste die URLs auf einer Website auf
CALL olostep.core.map('https://docs.olostep.com', 50);
```

## Speichere Seiten als Tabellen

`batch_scrape` und `crawl` speichern eine Zeile pro Seite in `olostep.results.<table_name>`, mit den Spalten `URL`, `MARKDOWN`, `ERROR` und `RETRIEVED_AT`. Die Verwendung eines vorhandenen Tabellennamens ersetzt diese Tabelle.

```sql theme={null}
-- Scrappt jede URL in einer deiner Tabellen
CALL olostep.core.batch_scrape(
  (SELECT ARRAY_AGG(website) FROM my_db.crm.accounts),
  'account_pages');

-- Crawlt eine Website (bis zu 25 Seiten)
CALL olostep.core.crawl('https://docs.olostep.com', 'olostep_docs', 25);

-- Abfrage der Ergebnisse oder Kopiere sie in deine eigene Datenbank
SELECT url, markdown FROM olostep.results.account_pages;
CREATE TABLE my_db.crm.account_pages AS SELECT * FROM olostep.results.account_pages;
```

Batches und Crawls sind normalerweise in wenigen Minuten abgeschlossen. Wenn einer nach 20 Minuten noch läuft, gibt die Prozedur seine `id` mit `status` auf `in_progress` zurück. Speichere seine Seiten später mit:

```sql theme={null}
CALL olostep.core.save_results('<id>', 'account_pages');
```

Tabellen in `results` werden entfernt, wenn du die App deinstallierst, also kopiere alles, was du behalten möchtest, in deine eigene Datenbank.

## Fehlerbehebung

* **"Konnte api.olostep.com nicht erreichen":** die Verbindung ist noch nicht genehmigt. Genehmige sie wie in Schritt 2.
* **"Unbekannte benutzerdefinierte Funktion INTERNAL.OLOSTEP\_REQUEST":** der API-Schlüssel ist noch nicht hinzugefügt. Füge ihn wie in Schritt 3 hinzu.
* **HTTP 401 im Fehler:** das Geheimnis enthält keinen gültigen Olostep API-Schlüssel. Überprüfe ihn im [Olostep-Dashboard](https://www.olostep.com/dashboard/api-keys).

## Ressourcen

* [Olostep auf dem Snowflake Marketplace](https://app.snowflake.com/marketplace/listing/GZT8Z4URI87/olostep-olostep-web-search-scraping-and-crawling)
* [GitHub-Repository](https://github.com/olostep-api/olostep-snowflake)
* [Snowflake Native Apps Dokumentation](https://docs.snowflake.com/en/developer-guide/native-apps/native-apps-about)
* [Olostep-Website](https://www.olostep.com)


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.