> ## Documentation Index
> Fetch the complete documentation index at: https://docs.olostep.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Olostep + Snowflake

> Zoek, scrape, map en crawl het live web vanuit Snowflake SQL, en sla pagina’s op als tabellen met de Olostep Native App.

De [Olostep Native App op de Snowflake Marketplace](https://app.snowflake.com/marketplace/listing/GZT8Z4URI87/olostep-olostep-web-search-scraping-and-crawling) brengt live webdata naar Snowflake. [Olostep](https://www.olostep.com) is webdatainfrastructuur voor AI-agenten en enterprise AI-workflows. De API's bieden live webzoekopdrachten, scraping en crawling om data van het web te extraheren, schoon te maken en te structureren.

Roep Olostep aan vanuit SQL om het web te doorzoeken, pagina’s te scrapen naar schone markdown, websites te mappen en crawlen, en antwoorden te krijgen met bronnen. Batch scrapes en crawls worden als tabellen in je account opgeslagen, zodat je webdata kunt combineren met je eigen data, het kunt laden in Cortex Search of gebruiken in Cortex Agents.

[Bekijk op de Snowflake Marketplace →](https://app.snowflake.com/marketplace/listing/GZT8Z4URI87/olostep-olostep-web-search-scraping-and-crawling)

## Voordat je begint

* **Een Olostep-account met een API-sleutel:** [krijg er gratis een](https://www.olostep.com/dashboard), geen creditcard vereist. Je eerste 500 credits zijn inbegrepen.
* **Een Snowflake-account met externe toegang:** de app roept de Olostep API aan via een externe toegangsintegratie, wat proefaccounts niet ondersteunen.
* **Een rol die appverbindingen kan goedkeuren:** het goedkeuren van de verbinding met `api.olostep.com` vereist de bevoegdheid `MANAGE APPLICATION SPECIFICATIONS`, die `ACCOUNTADMIN` en `SECURITYADMIN` hebben.

## Installatie

**1. Download de app**

Open de [vermelding](https://app.snowflake.com/marketplace/listing/GZT8Z4URI87/olostep-olostep-web-search-scraping-and-crawling) en klik op **Downloaden**. De voorbeelden op deze pagina gaan ervan uit dat je het installeert als `olostep`.

**2. Keur de verbinding met de Olostep API goed**

De app maakt zijn eigen externe toegangsintegratie voor `api.olostep.com`, en kan de API niet aanroepen totdat je deze goedkeurt. Ga in Snowsight naar **Catalogus** > **Apps** en selecteer de app. Selecteer het **Instellingen**-icoon, open vervolgens het tabblad **Configuraties**. Onder **Externe verbindingen**, breid **Details** uit naast **Externe toegangsintegraties** en keur het `api.olostep.com` eindpunt goed.

**3. Voeg je API-sleutel toe**

Op hetzelfde tabblad **Configuraties**, onder **Referenties**, voeg een `GENERIC_STRING` geheim toe dat je API-sleutel van het [Olostep dashboard](https://www.olostep.com/dashboard/api-keys) bevat aan **Olostep API-sleutel**.

> [accordion] Liever SQL? Doe stappen 2 en 3 in een werkblad
>
> ```sql theme={null}
> -- Keur de verbinding goed, gebruikmakend van het volgnummer dat SHOW SPECIFICATIONS retourneert
> SHOW SPECIFICATIONS IN APPLICATION olostep;
> ALTER APPLICATION olostep APPROVE SPECIFICATION olostep_api_access SEQUENCE_NUMBER = 1;
>
> -- Sla je sleutel op in een geheim en geef het aan de app
> CREATE DATABASE IF NOT EXISTS olostep_config;
>
> CREATE OR REPLACE SECRET olostep_config.public.olostep_api_key
>   TYPE = GENERIC_STRING
>   SECRET_STRING = '<YOUR_OLOSTEP_API_KEY>';
>
> CALL olostep.core.register_reference('OLOSTEP_API_KEY', 'ADD',
>   SYSTEM$REFERENCE('SECRET', 'olostep_config.public.olostep_api_key', 'PERSISTENT', 'READ'));
> ```

## Procedures

| Procedure | Wat het doet |
| - | - |
| `core.scrape(url)` | Scrape een pagina en retourneer schone markdown (inclusief JavaScript-rendering) |
| `core.search(query, max_results)` | Doorzoek het live web en retourneer titels, URL's en beschrijvingen |
| `core.answer(task)` | Beantwoord een vraag van het live web, met bron-URL's |
| `core.map(url, top_n)` | Lijst de URL's op een website op |
| `core.batch_scrape(urls, table_name)` | Scrape een lijst van URL's in één batch en sla de pagina's op in een tabel |
| `core.crawl(url, table_name, max_pages)` | Crawl een website en sla de pagina's op in een tabel |
| `core.save_results(id, table_name)` | Sla de pagina's op van een batch of crawl die nog liep toen de oproep terugkeerde |

Elke procedure retourneert een `VARIANT`. Bij falen retourneert het een object met `status` ingesteld op `error`. Snelheidslimieten, serverfouten en time-outs worden automatisch opnieuw geprobeerd.

## Gebruik

```sql theme={null}
-- Scrape een pagina naar markdown
CALL olostep.core.scrape('https://docs.olostep.com');

-- Doorzoek het web
CALL olostep.core.search('laatste AI-agent frameworks', 5);

-- Beantwoord een vraag met bronnen
CALL olostep.core.answer('Wat is de laatste stabiele versie van Next.js?');

-- Lijst de URL's op een website op
CALL olostep.core.map('https://docs.olostep.com', 50);
```

## Sla pagina's op als tabellen

`batch_scrape` en `crawl` slaan één rij per pagina op in `olostep.results.<table_name>`, met de kolommen `URL`, `MARKDOWN`, `ERROR` en `RETRIEVED_AT`. Het gebruik van een bestaande tabelnaam vervangt die tabel.

```sql theme={null}
-- Scrape elke URL in een van je tabellen
CALL olostep.core.batch_scrape(
  (SELECT ARRAY_AGG(website) FROM my_db.crm.accounts),
  'account_pages');

-- Crawl een website (tot 25 pagina's)
CALL olostep.core.crawl('https://docs.olostep.com', 'olostep_docs', 25);

-- Query de resultaten, of kopieer ze naar je eigen database
SELECT url, markdown FROM olostep.results.account_pages;
CREATE TABLE my_db.crm.account_pages AS SELECT * FROM olostep.results.account_pages;
```

Batches en crawls zijn meestal binnen een paar minuten klaar. Als er na 20 minuten nog een loopt, retourneert de procedure zijn `id` met `status` ingesteld op `in_progress`. Sla de pagina's later op met:

```sql theme={null}
CALL olostep.core.save_results('<id>', 'account_pages');
```

Tabellen in `results` worden verwijderd als je de app deïnstalleert, dus kopieer alles wat je wilt behouden naar je eigen database.

## Problemen oplossen

* **"Could not reach api.olostep.com":** de verbinding is nog niet goedgekeurd. Keur het goed zoals in stap 2.
* **"Unknown user-defined function INTERNAL.OLOSTEP\_REQUEST":** de API-sleutel is nog niet toegevoegd. Voeg het toe zoals in stap 3.
* **HTTP 401 in de foutmelding:** het geheim bevat geen geldige Olostep API-sleutel. Controleer het in het [Olostep dashboard](https://www.olostep.com/dashboard/api-keys).

## Bronnen

* [Olostep op de Snowflake Marketplace](https://app.snowflake.com/marketplace/listing/GZT8Z4URI87/olostep-olostep-web-search-scraping-and-crawling)
* [GitHub-repository](https://github.com/olostep-api/olostep-snowflake)
* [Snowflake Native Apps documentatie](https://docs.snowflake.com/en/developer-guide/native-apps/native-apps-about)
* [Olostep website](https://www.olostep.com)


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.