Naar hoofdinhoud gaan
De Olostep Native App op de Snowflake Marketplace brengt live webdata naar Snowflake. Olostep is webdatainfrastructuur voor AI-agenten en enterprise AI-workflows. De API’s bieden live webzoekopdrachten, scraping en crawling om data van het web te extraheren, schoon te maken en te structureren. Roep Olostep aan vanuit SQL om het web te doorzoeken, pagina’s te scrapen naar schone markdown, websites te mappen en crawlen, en antwoorden te krijgen met bronnen. Batch scrapes en crawls worden als tabellen in je account opgeslagen, zodat je webdata kunt combineren met je eigen data, het kunt laden in Cortex Search of gebruiken in Cortex Agents. Bekijk op de Snowflake Marketplace →

Voordat je begint

  • Een Olostep-account met een API-sleutel: krijg er gratis een, geen creditcard vereist. Je eerste 500 credits zijn inbegrepen.
  • Een Snowflake-account met externe toegang: de app roept de Olostep API aan via een externe toegangsintegratie, wat proefaccounts niet ondersteunen.
  • Een rol die appverbindingen kan goedkeuren: het goedkeuren van de verbinding met api.olostep.com vereist de bevoegdheid MANAGE APPLICATION SPECIFICATIONS, die ACCOUNTADMIN en SECURITYADMIN hebben.

Installatie

1

Download de app

Open de vermelding en klik op Downloaden. De voorbeelden op deze pagina gaan ervan uit dat je het installeert als olostep.
2

Keur de verbinding met de Olostep API goed

De app maakt zijn eigen externe toegangsintegratie voor api.olostep.com, en kan de API niet aanroepen totdat je deze goedkeurt. Ga in Snowsight naar Catalogus > Apps en selecteer de app. Selecteer het Instellingen-icoon, open vervolgens het tabblad Configuraties. Onder Externe verbindingen, breid Details uit naast Externe toegangsintegraties en keur het api.olostep.com eindpunt goed.
3

Voeg je API-sleutel toe

Op hetzelfde tabblad Configuraties, onder Referenties, voeg een GENERIC_STRING geheim toe dat je API-sleutel van het Olostep dashboard bevat aan Olostep API-sleutel.

Procedures

Elke procedure retourneert een VARIANT. Bij falen retourneert het een object met status ingesteld op error. Snelheidslimieten, serverfouten en time-outs worden automatisch opnieuw geprobeerd.

Gebruik

Sla pagina’s op als tabellen

batch_scrape en crawl slaan één rij per pagina op in olostep.results.<table_name>, met de kolommen URL, MARKDOWN, ERROR en RETRIEVED_AT. Het gebruik van een bestaande tabelnaam vervangt die tabel.
Batches en crawls zijn meestal binnen een paar minuten klaar. Als er na 20 minuten nog een loopt, retourneert de procedure zijn id met status ingesteld op in_progress. Sla de pagina’s later op met:
Tabellen in results worden verwijderd als je de app deïnstalleert, dus kopieer alles wat je wilt behouden naar je eigen database.

Problemen oplossen

  • “Could not reach api.olostep.com”: de verbinding is nog niet goedgekeurd. Keur het goed zoals in stap 2.
  • “Unknown user-defined function INTERNAL.OLOSTEP_REQUEST”: de API-sleutel is nog niet toegevoegd. Voeg het toe zoals in stap 3.
  • HTTP 401 in de foutmelding: het geheim bevat geen geldige Olostep API-sleutel. Controleer het in het Olostep dashboard.

Bronnen